Python字符串對(duì)象實(shí)現(xiàn)原理詳解

更新時(shí)間：2019年07月01日 10:28:27 作者：FOOFISH-PYTHON之禪

這篇文章主要介紹了Python字符串對(duì)象實(shí)現(xiàn)原理詳解，在Python世界中將對(duì)象分為兩種：一種是定長對(duì)象，比如整數(shù)，整數(shù)對(duì)象定義的時(shí)候就能確定它所占用的內(nèi)存空間大小，另一種是變長對(duì)象，在對(duì)象定義時(shí)并不知道是多少,需要的朋友可以參考下

在Python世界中將對(duì)象分為兩種：一種是定長對(duì)象，比如整數(shù)，整數(shù)對(duì)象定義的時(shí)候就能確定它所占用的內(nèi)存空間大小，另一種是變長對(duì)象，在對(duì)象定義時(shí)并不知道是多少，比如：str，list, set, dict等。

>>> import sys
>>> sys.getsizeof(1000)
28
>>> sys.getsizeof(2000)
28
>>> sys.getsizeof("python")
55
>>> sys.getsizeof("java")
53

如上，整數(shù)對(duì)象所占用的內(nèi)存都是28字節(jié)，和具體的值沒關(guān)系，而同樣都是字符串對(duì)象，不同字符串對(duì)象所占用的內(nèi)存是不一樣的，這就是變長對(duì)象，對(duì)于變長對(duì)象，在對(duì)象定義時(shí)是不知道對(duì)象所占用的內(nèi)存空間是多少的。

字符串對(duì)象在Python內(nèi)部用PyStringObject表示，PyStringObject和PyIntObject一樣都屬于不可變對(duì)象，對(duì)象一旦創(chuàng)建就不能改變其值。（注意：變長對(duì)象和不可變對(duì)象是兩個(gè)不同的概念）。PythonStringObject的定義：

[stringobject.h]
typedef struct {
PyObject_VAR_HEAD
long ob_shash;
int ob_sstate;
char ob_sval[1];
} PyStringObject;

不難看出Python的字符串對(duì)象內(nèi)部就是由一個(gè)字符數(shù)組維護(hù)的，在整數(shù)的實(shí)現(xiàn)原理一文中提到PyObject_HEAD，對(duì)于PyObject_VAR_HEAD就是在PyObject_HEAD基礎(chǔ)上多出一個(gè)ob_size屬性：

[object.h]
#define PyObject_VAR_HEAD  
 PyObject_HEAD   
 int ob_size; /* Number of items in variable part */
typedef struct {
 PyObject_VAR_HEAD
} PyVarObject;

ob_size保存了變長對(duì)象中元素的長度，比如PyStringObject對(duì)象"Python"的ob_size為6。
ob_sval是一個(gè)初始大小為1的字符數(shù)組，且ob_sval[0] = '\0'，但實(shí)際上創(chuàng)建一個(gè)PyStringObject時(shí)ob_sval指向的是一段長為ob_size+1個(gè)字節(jié)的內(nèi)存。
ob_shash是字符串對(duì)象的哈希值，初始值為-1，在第一次計(jì)算出字符串的哈希值后，會(huì)把該值緩存下來，賦值給ob_shash。
ob_sstate用于標(biāo)記該字符串對(duì)象是否進(jìn)過intern機(jī)制處理（后文會(huì)介紹)。

PYSTRINGOBJECT對(duì)象創(chuàng)建過程

[stringobject.c]
PyObject * PyString_FromString(const char *str)
{
register size_t size;
register PyStringObject *op;
assert(str != NULL);
size = strlen(str);
// [1]
if (size > PY_SSIZE_T_MAX - PyStringObject_SIZE) {
PyErr_SetString(PyExc_OverflowError,
"string is too long for a Python string");
return NULL;
}
// [2]
if (size == 0 && (op = nullstring) != NULL) {
#ifdef COUNT_ALLOCS
null_strings++;
#endif
Py_INCREF(op);
return (PyObject *)op;
}
// [3]
if (size == 1 && (op = characters[*str & UCHAR_MAX]) != NULL) {
#ifdef COUNT_ALLOCS
one_strings++;
#endif
Py_INCREF(op);
return (PyObject *)op;
}
// [4]
/* Inline PyObject_NewVar */
op = (PyStringObject *)PyObject_MALLOC(PyStringObject_SIZE + size);
if (op == NULL)
return PyErr_NoMemory();
PyObject_INIT_VAR(op, &PyString_Type, size);
op->ob_shash = -1;
op->ob_sstate = SSTATE_NOT_INTERNED;
Py_MEMCPY(op->ob_sval, str, size+1);
/* share short strings */
if (size == 0) {
PyObject *t = (PyObject *)op;
PyString_InternInPlace(&t);
op = (PyStringObject *)t;
nullstring = op;
Py_INCREF(op);
} else if (size == 1) {
PyObject *t = (PyObject *)op;
PyString_InternInPlace(&t);
op = (PyStringObject *)t;
characters[*str & UCHAR_MAX] = op;
Py_INCREF(op);
}
return (PyObject *) op;
}

如果字符串的長度超出了Python所能接受的最大長度(32位平臺(tái)是2G)，則返回Null。
如果是空字符串，那么返回特殊的PyStringObject，即nullstring。
如果字符串的長度為1，那么返回特殊PyStringObject，即onestring。
其他情況下就是分配內(nèi)存，初始化PyStringObject，把參數(shù)str的字符數(shù)組拷貝到PyStringObject中的ob_sval指向的內(nèi)存空間。

字符串的INTERN機(jī)制

PyStringObject的ob_sstate屬性用于標(biāo)記字符串對(duì)象是否經(jīng)過intern機(jī)制處理，intern處理后的字符串，比如"Python"，在解釋器運(yùn)行過程中始終只有唯一的一個(gè)字符串"Python"對(duì)應(yīng)的PyStringObject對(duì)象。

>>> a = "python"
>>> b = "python"
>>> a is b
True

如上所示，創(chuàng)建a時(shí)，系統(tǒng)首先會(huì)創(chuàng)建一個(gè)新的PyStringObject對(duì)象出來，然后經(jīng)過intern機(jī)制處理（PyString_InternInPlace），接著查找經(jīng)過intern機(jī)制處理的PyStringObject對(duì)象，如果發(fā)現(xiàn)有該字符串對(duì)應(yīng)的PyStringObject存在，則直接返回該對(duì)象，否則把剛剛創(chuàng)建的PyStringObject加入到intern機(jī)制中。由于a和b字符串字面值是一樣的，因此a和b都指向同一個(gè)PyStringObject("python")對(duì)象。那么intern內(nèi)部又是一個(gè)什么樣的機(jī)制呢？

[stringobject.c]
static PyObject *interned;
void PyString_InternInPlace(PyObject **p)
{
register PyStringObject *s = (PyStringObject *)(*p);
PyObject *t;
if (s == NULL || !PyString_Check(s))
Py_FatalError("PyString_InternInPlace: strings only please!");
/* If it's a string subclass, we don't really know what putting
it in the interned dict might do. */
// [1]
if (!PyString_CheckExact(s))
return;
// [2]
if (PyString_CHECK_INTERNED(s))
return;
// [3]
if (interned == NULL) {
interned = PyDict_New();
if (interned == NULL) {
PyErr_Clear(); /* Don't leave an exception */
return;
}
}
t = PyDict_GetItem(interned, (PyObject *)s);
if (t) {
Py_INCREF(t);
Py_DECREF(*p);
*p = t;
return;
}
if (PyDict_SetItem(interned, (PyObject *)s, (PyObject *)s) < 0) {
PyErr_Clear();
return;
}
/* The two references in interned are not counted by refcnt.
The string deallocator will take care of this */
Py_REFCNT(s) -= 2;
PyString_CHECK_INTERNED(s) = SSTATE_INTERNED_MORTAL;
}

1.先類型檢查，intern機(jī)制只處理字符串

2.如果該P(yáng)yStringObject對(duì)象已經(jīng)進(jìn)行過intern機(jī)制處理，則直接返回

3.interned其實(shí)一個(gè)字典對(duì)象，當(dāng)它為null時(shí)，初始化一個(gè)字典對(duì)象，否則，看該字典中是否存在一個(gè)key為(PyObject *)s的value，如果存在，那么就把該對(duì)象的引用計(jì)數(shù)加1，臨時(shí)創(chuàng)建的那個(gè)對(duì)象的引用計(jì)數(shù)減1。否則，把(PyObject *)s同時(shí)作為key和value添加到interned字典中，與此同時(shí)它的引用計(jì)數(shù)減2，這兩個(gè)引用計(jì)數(shù)減2是因?yàn)楸籭nterned字典所引用，但這兩個(gè)引用不作為垃圾回收的判斷依據(jù)，否則，字符串對(duì)象永遠(yuǎn)都不會(huì)被垃圾回收器收集了。

上述代碼中，給b賦值為"python"后，系統(tǒng)中創(chuàng)建了幾個(gè)PyStringObject對(duì)象呢？答案是：2，在創(chuàng)建b的時(shí)候，一定會(huì)有一個(gè)臨時(shí)的PyStringObject作為字典的key在interned中查找是否存在一個(gè)PyStringObject對(duì)象的值為"python"。

字符串的緩沖池

字符串除了有intern機(jī)制緩存字符串之外，字符串還有一種專門的短字符串緩沖池characters。用于緩存字符串長度為1的PyStringObject對(duì)象。

static PyStringObject *characters[UCHAR_MAX + 1]; //UCHAR_MAX = 255

創(chuàng)建長度為1的字符串時(shí)流程：

...
else if (size == 1) {
PyObject *t = (PyObject *)op;
PyString_InternInPlace(&t);
op = (PyStringObject *)t;
characters[*str & UCHAR_MAX] = op;
Py_INCREF(op);