用Python中的__slots__緩存資源以節(jié)省內(nèi)存開銷的方法
我們曾經(jīng)提到,Oyster.com的Python web服務器怎樣利用一個巨大的Python dicts(hash table),緩存大量的靜態(tài)資源。我們最近在Image類中,用僅僅一行__slots__代碼,讓每個6G內(nèi)存占用的服務進程(共4個),省出超過2G來。
這是其中一個服務器在部署代碼前后的截圖:

我們alloc了大約一百萬個類似如下class的實例:
class Image(object):
def __init__(self, id, caption, url):
self.id = id
self.caption = caption
self.url = url
self._setup()
# ... other methods ...
默認情況下,Python用一個dict來存儲對象實例的屬性。這在一般情況下還不錯,而且非常靈活,乃至你在運行時可以隨意設置新的屬性。
但是,對一些在”編譯”前就知道該有幾個固定屬性的小class來說,這個dict就有點浪費內(nèi)存了。而當你把這個小浪費乘上一百萬,那可就大不同了。在Python中,你可以在class中設置__slots__,它是一個包含這些固定的屬性名的list。這樣Python就不會再使用dict,而且只分配這些屬性的空間。
class Image(object):
__slots__ = ['id', 'caption', 'url']
def __init__(self, id, caption, url):
self.id = id
self.caption = caption
self.url = url
self._setup()
# ... other methods ...
你還可以用collections.namedtuple,它允許訪問參數(shù),但只占用一個tuple的空間。這跟__slots__類似。不過我總覺得繼承一個namedtuple類很奇怪。另外,如果你需要自定義初始化,你應該重載__new__而不是__init__。
警告:不要貿(mào)然進行這個優(yōu)化,把它用在所有地方。這種做法不利于代碼維護,而且只有當你有數(shù)以千計的實例的時候才會有明顯效果。
譯注:作者在評論中關于”不利于代碼維護“的說法:
webreac:我覺得__slots__關鍵字不只是速度優(yōu)化(注:這里應該是內(nèi)存優(yōu)化),也是類字段名的一個可靠”文檔“。這有利于代碼維護。為什么你覺得它不好?
Ben Hoyt(作者):有趣的說法——我不確定應不應該把__slots__作為文檔。不過的確是不錯的注意。我之前這么說的原因是,你需要對字段名”定義“兩次(不夠DRY)。namedtuple也類似。
相關文章
python3.6使用pymysql連接Mysql數(shù)據(jù)庫
這篇文章主要為大家詳細介紹了python3.6使用pymysql連接Mysql數(shù)據(jù)庫,以及簡單的增刪改查操作,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-05-05
Python報錯:PermissionError:?[Errno?13]?Permission?denied的解
這篇文章主要給大家介紹了關于Python報錯:PermissionError:?[Errno?13]?Permission?denied的解決辦法,文中給出了詳細的解決辦法,需要的朋友可以參考下2022-02-02
Python退出While循環(huán)的3種方法舉例詳解
在每次循環(huán)結束后,我們需要檢查循環(huán)條件是否滿足。如果條件滿足,則繼續(xù)執(zhí)行循環(huán)體內(nèi)的代碼,否則退出循環(huán),這篇文章主要給大家介紹了關于Python退出While循環(huán)的3種方法,需要的朋友可以參考下2023-10-10
Python區(qū)塊鏈Creating?Miners教程
這篇文章主要為大家介紹了Python區(qū)塊鏈Creating?Miners教程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-05-05
深度學習TextLSTM的tensorflow1.14實現(xiàn)示例
這篇文章主要為大家介紹了深度學習TextLSTM的tensorflow1.14實現(xiàn)示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-01-01

