Python源碼學(xué)習(xí)之PyObject和PyTypeObject
前言
Python是C語言實(shí)現(xiàn)的,因此Python對象在C語言層面應(yīng)該是一個結(jié)構(gòu)體 ,組織對象占用的內(nèi)存。 不同類型的對象,數(shù)據(jù)及行為均可能不同,因此可以大膽猜測:不同類型的對象由不同的結(jié)構(gòu)體表示。
對象也有一些共性,比如每個對象都需要有一個引用計數(shù),用于實(shí)現(xiàn)垃圾回收機(jī)制。因此,還可以進(jìn)一步猜測:表示對象的結(jié)構(gòu)體有一個公共頭部。
一. 實(shí)例對象的基石—PyObject和PyVarObject
PyObject和PyVarObject本質(zhì)上是對象的頭部信息。
1.1 PyObject結(jié)構(gòu)體
Python對象都由PyObject結(jié)構(gòu)體表示,對象引用則是指針PyObject *。 PyObject結(jié)構(gòu)體定義于頭文件object.h,路徑為Include/object.h,代碼如下
typedef struct _object {
_PyObject_HEAD_EXTRA
Py_ssize_t ob_refcnt;
struct _typeobject *ob_type;
} PyObject;
對結(jié)構(gòu)體中的元素進(jìn)行說明,
| 元素名稱 | 說明 |
|---|---|
| ob_refcnt | 引用計數(shù),對象被其他地方引用時加一,引用解除時減一; 當(dāng)引用計數(shù)為零,便可將對象回收,這是最簡單的垃圾回收機(jī)制。 |
| ob_type | 類型指針指向?qū)ο蟮念愋蛯ο?,類型對象描述?shí)例對象的數(shù)據(jù)及行為。 |
| _PyObject_HEAD_EXTRA | 宏,同樣定義在Include/object.h頭文件內(nèi)。 |
1.2 宏的定義
#ifdef Py_TRACE_REFS
/* Define pointers to support a doubly-linked list of all live heap objects. */
#define _PyObject_HEAD_EXTRA \
struct _object *_ob_next; \
struct _object *_ob_prev;
#define _PyObject_EXTRA_INIT 0, 0,
#else
#define _PyObject_HEAD_EXTRA
#define _PyObject_EXTRA_INIT
#endif
如果Py_TRACE_REFS被定義,宏展開為兩個指針ob_next和ob_prev用來實(shí)現(xiàn)雙向鏈表。注釋中說明,雙向鏈表用于跟蹤所有活躍堆對象,一般不啟用,不深入介紹。
1.3 PyVarObject結(jié)構(gòu)體
用于表示變長對象的PyVarObject結(jié)構(gòu)體是在PyObject結(jié)構(gòu)體的基礎(chǔ)上加入長度信息。
typedef struct {
PyObject ob_base;
Py_ssize_t ob_size; /* Number of items in variable part */
} PyVarObject;
相比object結(jié)構(gòu)體增加了ob_size字段用于記錄元素個數(shù)。

1.4 兩種頭部信息宏定義及其初始化
具體實(shí)例對象視其內(nèi)存大小是否固定,決定其屬于定長對象還是變長對象。相應(yīng)的需要具有頭部信息PyObject或PyVarObject。
因此,頭文件準(zhǔn)備了兩個頭部信息的宏定義PyObject_HEAD和PyObject_VAR_HEAD,方便對象使用,
#define PyObject_HEAD PyObject ob_base; #define PyObject_VAR_HEAD PyVarObject ob_base;
宏定義說明,
#define PyObject_HEAD PyObject ob_base; 表示將代碼中其他出現(xiàn)PyObject_HEAD的地方,替換成PyObject ob_base;
1.4.1 定長對象實(shí)現(xiàn)
內(nèi)存大小固定的浮點(diǎn)數(shù)類的實(shí)現(xiàn)只需在PyObject頭部基礎(chǔ)上,用一個雙精度浮點(diǎn)數(shù)double加以實(shí)現(xiàn),
typedef struct {
PyObject_HEAD
double ob_fval;
} PyFloatObject;

1.4.2 變長對象實(shí)現(xiàn)
內(nèi)存大小不固定的列表對象則需要在PyVarObject頭部的基礎(chǔ)上,用一個動態(tài)數(shù)組加以實(shí)現(xiàn),數(shù)組存儲列表包含的對象,即 PyObject 指針,
typedef struct {
PyObject_VAR_HEAD
PyObject **ob_item;
Py_ssize_t allocated;
} PyListObject;

PyListObject底層由一個數(shù)組實(shí)現(xiàn),關(guān)鍵字段是以下3個,
| 字段 | 說明 |
|---|---|
| ob_item | 指向動態(tài)數(shù)組的指針,數(shù)組保存元素對象指針。 |
| allocated | 動態(tài)數(shù)組總長度,即列表當(dāng)前的 容量。 |
| ob_size | 當(dāng)前元素個數(shù),即列表當(dāng)前的 長度。 |
列表容量不足時,Python會自動擴(kuò)容,具體機(jī)制見list源碼解讀。
1.4.3 頭部信息宏初始化
PyObject_HEAD_INIT用于定長對象頭部信息初始化。將引用計數(shù)ob_refcnt設(shè)置為1并將對象類型ob_type設(shè)置成給定類型。
#define PyObject_HEAD_INIT(type) \
{ _PyObject_EXTRA_INIT \
1, type },
PyVarObject_HEAD_INIT用于變長對象頭部信息初始化。在前者基礎(chǔ)上進(jìn)一步設(shè)置長度字段ob_size。
#define PyVarObject_HEAD_INIT(type, size) \
{ PyObject_HEAD_INIT(type) size },
在源碼中經(jīng)常見到這兩個宏定義。
二. 類型對象的基石—PyTypeObject 2.1 PyTypeObject包含信息
PyObject記錄了Python中所有對象共有的信息。如引用計數(shù)、類型指針和變長對象特有的元素個數(shù)。但是還有一些細(xì)節(jié)需要考慮,
- 創(chuàng)建不同類型的對象時如何得知對象所需的內(nèi)存信息
- 給定某個對象,如何判斷它支持什么操作
這些作為對象的元信息 ,應(yīng)該由一個獨(dú)立實(shí)體保存,與對象所屬類型密切相關(guān)。PyObject中包含的ob_type指針,指向一個類型對象。類型對象PyTypeObject也在Include/object.h中定義,關(guān)鍵字段如下,
typedef struct _typeobject {
PyObject_VAR_HEAD
const char *tp_name; /* For printing, in format "<module>.<name>" */
Py_ssize_t tp_basicsize, tp_itemsize; /* For allocation */
/* Methods to implement standard operations */
destructor tp_dealloc;
printfunc tp_print;
getattrfunc tp_getattr;
setattrfunc tp_setattr;
// ...
/* Attribute descriptor and subclassing stuff */
struct _typeobject *tp_base;
// ......
} PyTypeObject;
類型對象PyTypeObject是一個變長對象,包含變長對象頭部信息PyObject_VAR_HEAD和專有字段,
| 字段 | 說明 |
|---|---|
| 類型名稱 | tp_name字段 |
| 類型的繼承信息 | tp_base字段指向基類對象 |
| 創(chuàng)建實(shí)例對象時所需的內(nèi)存信息 | tp_basicsize 和 tp_itemsize 字段 |
| 該類型支持的相關(guān)操作信息 | tp_print、tp_getattr等函數(shù)指針 |
PyTypeObject就是類型對象在 Python 中的表現(xiàn)形式,對應(yīng)著面向?qū)ο笾小邦悺钡母拍睢?code>PyTypeObject結(jié)構(gòu)很復(fù)雜,目前只需要知道它保存著對象的元信息,描述對象的類型即可。
2.2 類型對象和實(shí)例對象在內(nèi)存中的關(guān)系
以float為例,考察類型對象和實(shí)例對象在內(nèi)存中的形態(tài)和關(guān)系,
>>> float <class 'float'> >>> pi = 3.14 >>> e = 2.71 >>> type(pi) is float True

- 兩個float實(shí)例對象都是
PyFloatObject結(jié)構(gòu)體,除了公共頭部字段ob_refcnt和ob_type,專有字段ob_fval保存了對應(yīng)的數(shù)值。 - 類型對象是一個
PyTypeObject結(jié)構(gòu)體,保存了類型名、內(nèi)存分配信息以及浮點(diǎn)數(shù)相關(guān)操作。實(shí)例對象的ob_type字段指向類型對象,Python 據(jù)此判斷對象類型,進(jìn)而獲悉關(guān)于對象的元信息。 - float、pi以及e等變量只是一個指向?qū)嶋H對象的指針。
上圖的內(nèi)容并不完全正確,更深入的解讀見后一篇博文。
到此這篇關(guān)于Python源碼學(xué)習(xí)之PyObject和PyTypeObject的文章就介紹到這了,更多相關(guān)PyObject和PyTypeObject內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
keras 多任務(wù)多l(xiāng)oss實(shí)例
這篇文章主要介紹了keras 多任務(wù)多l(xiāng)oss實(shí)例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
python讀取json文件并將數(shù)據(jù)插入到mongodb的方法
這篇文章主要介紹了python讀取json文件并將數(shù)據(jù)插入到mongodb的方法,實(shí)例分析了Python操作json及mongodb數(shù)據(jù)庫的技巧,需要的朋友可以參考下2015-03-03
Python中.py文件和.ipynb文件的區(qū)別詳解
Python開發(fā)者常用的兩種文件格式.py和.ipynb各有特點(diǎn),本教程將通過對比分析、代碼示例和場景說明,幫助開發(fā)者全面理解二者的區(qū)別與聯(lián)系,需要的朋友可以參考下2025-04-04
使用grappelli為django admin后臺添加模板
本文介紹了一款非常流行的Django模板系統(tǒng)--grappelli,以及如何給Django的admin后臺添加模板,非常的實(shí)用,這里推薦給大家。2014-11-11
解決pycharm導(dǎo)入numpy包的和使用時報錯:RuntimeError: The current Numpy ins
這篇文章主要介紹了解決pycharm導(dǎo)入numpy包的和使用時報錯:RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的問題,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-12-12
詳解Pandas的三大利器(map,apply,applymap)
這篇文章主要為大家介紹了pandas中的三大利器: map、apply、applymap,他們經(jīng)常在進(jìn)行數(shù)據(jù)處理的時候用到,需要的可以參考一下2022-02-02

