從C語(yǔ)言中讀取Python 類(lèi)文件對(duì)象
問(wèn)題
你要寫(xiě)C擴(kuò)展來(lái)讀取來(lái)自任何Python類(lèi)文件對(duì)象中的數(shù)據(jù)(比如普通文件、StringIO對(duì)象等)。
解決方案
要讀取一個(gè)類(lèi)文件對(duì)象的數(shù)據(jù),你需要重復(fù)調(diào)用 read() 方法,然后正確的解碼獲得的數(shù)據(jù)。
下面是一個(gè)C擴(kuò)展函數(shù)例子,僅僅只是讀取一個(gè)類(lèi)文件對(duì)象中的所有數(shù)據(jù)并將其輸出到標(biāo)準(zhǔn)輸出:
#define CHUNK_SIZE 8192
/* Consume a "file-like" object and write bytes to stdout */
static PyObject *py_consume_file(PyObject *self, PyObject *args) {
PyObject *obj;
PyObject *read_meth;
PyObject *result = NULL;
PyObject *read_args;
if (!PyArg_ParseTuple(args,"O", &obj)) {
return NULL;
}
/* Get the read method of the passed object */
if ((read_meth = PyObject_GetAttrString(obj, "read")) == NULL) {
return NULL;
}
/* Build the argument list to read() */
read_args = Py_BuildValue("(i)", CHUNK_SIZE);
while (1) {
PyObject *data;
PyObject *enc_data;
char *buf;
Py_ssize_t len;
/* Call read() */
if ((data = PyObject_Call(read_meth, read_args, NULL)) == NULL) {
goto final;
}
/* Check for EOF */
if (PySequence_Length(data) == 0) {
Py_DECREF(data);
break;
}
/* Encode Unicode as Bytes for C */
if ((enc_data=PyUnicode_AsEncodedString(data,"utf-8","strict"))==NULL) {
Py_DECREF(data);
goto final;
}
/* Extract underlying buffer data */
PyBytes_AsStringAndSize(enc_data, &buf, &len);
/* Write to stdout (replace with something more useful) */
write(1, buf, len);
/* Cleanup */
Py_DECREF(enc_data);
Py_DECREF(data);
}
result = Py_BuildValue("");
final:
/* Cleanup */
Py_DECREF(read_meth);
Py_DECREF(read_args);
return result;
}
要測(cè)試這個(gè)代碼,先構(gòu)造一個(gè)類(lèi)文件對(duì)象比如一個(gè)StringIO實(shí)例,然后傳遞進(jìn)來(lái):
>>> import io
>>> f = io.StringIO('Hello\nWorld\n')
>>> import sample
>>> sample.consume_file(f)
Hello
World
>>>
討論
和普通系統(tǒng)文件不同的是,一個(gè)類(lèi)文件對(duì)象并不需要使用低級(jí)文件描述符來(lái)構(gòu)建。 因此,你不能使用普通的C庫(kù)函數(shù)來(lái)訪(fǎng)問(wèn)它。 你需要使用Python的C API來(lái)像普通文件類(lèi)似的那樣操作類(lèi)文件對(duì)象。
在我們的解決方案中,read() 方法從被傳遞的對(duì)象中提取出來(lái)。 一個(gè)參數(shù)列表被構(gòu)建然后不斷的被傳給 PyObject_Call() 來(lái)調(diào)用這個(gè)方法。 要檢查文件末尾(EOF),使用了 PySequence_Length() 來(lái)查看是否返回對(duì)象長(zhǎng)度為0.
對(duì)于所有的I/O操作,你需要關(guān)注底層的編碼格式,還有字節(jié)和Unicode之前的區(qū)別。 本節(jié)演示了如何以文本模式讀取一個(gè)文件并將結(jié)果文本解碼為一個(gè)字節(jié)編碼,這樣在C中就可以使用它了。 如果你想以二進(jìn)制模式讀取文件,只需要修改一點(diǎn)點(diǎn)即可,例如:
...
/* Call read() */
if ((data = PyObject_Call(read_meth, read_args, NULL)) == NULL) {
goto final;
}
/* Check for EOF */
if (PySequence_Length(data) == 0) {
Py_DECREF(data);
break;
}
if (!PyBytes_Check(data)) {
Py_DECREF(data);
PyErr_SetString(PyExc_IOError, "File must be in binary mode");
goto final;
}
/* Extract underlying buffer data */
PyBytes_AsStringAndSize(data, &buf, &len);
...
本節(jié)最難的地方在于如何進(jìn)行正確的內(nèi)存管理。 當(dāng)處理 PyObject * 變量的時(shí)候,需要注意管理引用計(jì)數(shù)以及在不需要的變量的時(shí)候清理它們的值。 對(duì) Py_DECREF() 的調(diào)用就是來(lái)做這個(gè)的。
本節(jié)代碼以一種通用方式編寫(xiě),因此他也能適用于其他的文件操作,比如寫(xiě)文件。 例如,要寫(xiě)數(shù)據(jù),只需要獲取類(lèi)文件對(duì)象的 write() 方法,將數(shù)據(jù)轉(zhuǎn)換為合適的Python對(duì)象 (字節(jié)或Unicode),然后調(diào)用該方法將輸入寫(xiě)入到文件。
最后,盡管類(lèi)文件對(duì)象通常還提供其他方法(比如readline(), read_info()), 我們最好只使用基本的 read() 和 write() 方法。 在寫(xiě)C擴(kuò)展的時(shí)候,能簡(jiǎn)單就盡量簡(jiǎn)單。
以上就是從C語(yǔ)言中讀取Python 類(lèi)文件對(duì)象的詳細(xì)內(nèi)容,更多關(guān)于C語(yǔ)言中讀取Python類(lèi)文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
C++讀取NC數(shù)據(jù)的結(jié)果與真實(shí)數(shù)值不一致的解決方法
本文介紹基于C++ 語(yǔ)言的netCDF庫(kù)讀取.nc格式的柵格文件時(shí),代碼讀取到的數(shù)據(jù)與柵格文件的實(shí)際數(shù)據(jù)不一致的解決方法,文中通過(guò)代碼示例和圖文講解的非常詳細(xì),需要的朋友可以參考下2024-03-03
C語(yǔ)言實(shí)現(xiàn)獲取內(nèi)存信息并輸出的實(shí)例
這篇文章主要介紹了C語(yǔ)言實(shí)現(xiàn)獲取內(nèi)存信息并輸出的實(shí)例的相關(guān)資料,需要的朋友可以參考下2017-03-03
使用C++實(shí)現(xiàn)單鏈表的操作與實(shí)踐
在程序設(shè)計(jì)中,鏈表是一種常見(jiàn)的數(shù)據(jù)結(jié)構(gòu),特別是在動(dòng)態(tài)數(shù)據(jù)管理、頻繁插入和刪除元素的場(chǎng)景中,鏈表相比于數(shù)組,具有更高的靈活性和高效性,尤其是在需要頻繁修改數(shù)據(jù)結(jié)構(gòu)的應(yīng)用中,本文將詳細(xì)介紹如何用C++語(yǔ)言實(shí)現(xiàn)一個(gè)面向?qū)ο蟮膯捂湵?并展示完整的代碼示例2025-02-02
C語(yǔ)言修煉之路靈根孕育源流出?初識(shí)C言大道生上篇
C語(yǔ)言是一門(mén)面向過(guò)程、抽象化的通用程序設(shè)計(jì)語(yǔ)言,廣泛應(yīng)用于底層開(kāi)發(fā)。C語(yǔ)言能以簡(jiǎn)易的方式編譯、處理低級(jí)存儲(chǔ)器。C語(yǔ)言是僅產(chǎn)生少量的機(jī)器語(yǔ)言以及不需要任何運(yùn)行環(huán)境支持便能運(yùn)行的高效率程序設(shè)計(jì)語(yǔ)言2022-03-03
C++ vector容器 find erase的使用操作:查找并刪除指定元素
這篇文章主要介紹了C++ vector容器 find erase的使用操作:查找并刪除指定元素,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-05-05
解析C++中構(gòu)造函數(shù)的默認(rèn)參數(shù)和構(gòu)造函數(shù)的重載
這篇文章主要介紹了解析C++中構(gòu)造函數(shù)的默認(rèn)參數(shù)和構(gòu)造函數(shù)的重載,是C++入門(mén)學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-09-09

