詳解多線程Django程序耗盡數(shù)據(jù)庫(kù)連接的問(wèn)題

更新時(shí)間：2018年10月08日 08:50:55 作者：賴(lài)勇浩

這篇文章主要介紹了多線程Django程序耗盡數(shù)據(jù)庫(kù)連接的問(wèn)題，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

Django的ORM是非常好用的，哪怕不是做Web項(xiàng)目也值得一用，所以網(wǎng)上也可以找到不少使用 Django 開(kāi)發(fā)非Web項(xiàng)目的資料，因?yàn)槌薕RM之個(gè)，命令行、配置文件等組件也非常好用。

最近用這種方式開(kāi)發(fā)了一個(gè)非Web項(xiàng)目，而且是多線程的。有N個(gè)工作線程從DB中獲取jobs，并把結(jié)果寫(xiě)回DB。簡(jiǎn)單來(lái)說(shuō)就是這樣。

項(xiàng)目運(yùn)行一段時(shí)間后，發(fā)現(xiàn)數(shù)據(jù)庫(kù)連接耗盡了，幸好內(nèi)存大，然后一直往上調(diào)，最后連接數(shù)都上九千多一萬(wàn)了。耗盡連接數(shù)的時(shí)候，PostgreSQL 會(huì)出現(xiàn)類(lèi)似這樣的錯(cuò)誤：

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各種看文檔、代碼，找問(wèn)題，其中艱難略下不表，最后大概是這么些個(gè)知識(shí)點(diǎn)：

Django里的數(shù)據(jù)庫(kù)連接是放在線程的 local() 實(shí)例中的。
任何時(shí)候，需要一個(gè)數(shù)據(jù)庫(kù)連接的話，Django就會(huì)創(chuàng)建一條出來(lái)，或者用本線程已有的那條。
如果是Web項(xiàng)目，在請(qǐng)求結(jié)束的時(shí)候，Django會(huì)去關(guān)閉掉連接。是的，沒(méi)有連接池。
因?yàn)槲覀兪欠荳eb項(xiàng)目，所以不存在請(qǐng)求結(jié)束事件，所以一直沒(méi)的關(guān)閉連接。但本來(lái)這個(gè)應(yīng)該也不會(huì)造成問(wèn)題的，因?yàn)闆](méi)關(guān)閉就一直用唄，但不知道哪里出了問(wèn)題，會(huì)出現(xiàn)連接泄漏，所以連接數(shù)據(jù)會(huì)一直增長(zhǎng)。

最后的解決方案是找時(shí)機(jī)主動(dòng)關(guān)閉數(shù)據(jù)庫(kù)連接，具體到我們項(xiàng)目，就是每次工作線程完成一個(gè)任務(wù)后，就把它相關(guān)的連接關(guān)掉，因?yàn)槲覀冇玫氖?ThreadPoolExecutor ，所以Django很容易做到這一點(diǎn)。

重點(diǎn)代碼如下：

from django.db import connections

def on_done(future):
  # 因?yàn)槊恳粋€(gè)線程都有一個(gè) connections，所以這里可以調(diào)用 close_all()，把本線程名下的所有連接關(guān)閉。
  connections.close_all()

def main():
  # ...
  with ThreadPoolExecutor() as executor:
    while True:
      future = executor.submit(do, get_a_job())
      future.add_done_callback(on_done)

主動(dòng)關(guān)閉后，數(shù)據(jù)庫(kù)連接數(shù)降到與工作線程數(shù)相近，并保持穩(wěn)定。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法
這篇文章主要介紹了PIL.Image.open和cv2.imread的比較與相互轉(zhuǎn)換的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-06-06
Django之路由層的實(shí)現(xiàn)
這篇文章主要介紹了Django之路由層的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2019-09-09
win10 64bit下python NLTK安裝教程
這篇文章主要為大家詳細(xì)介紹了win10 64bit下python NLTK安裝教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-09-09
python實(shí)現(xiàn)簡(jiǎn)單的udp發(fā)送和接收
這篇文章主要介紹了python實(shí)現(xiàn)簡(jiǎn)單的udp發(fā)送和接收方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-09-09
Python一行代碼實(shí)現(xiàn)快速排序的方法
排序算法是在高考或中考中出現(xiàn)頻率最多的點(diǎn)，所以大家要掌握，今天小編給大家?guī)?lái)了通過(guò)Python一行代碼實(shí)現(xiàn)快速排序的方法，感興趣的朋友跟隨小編一起看看吧
2019-04-04
Django零基礎(chǔ)入門(mén)之靜態(tài)文件的引用
這篇文章主要介紹了Django零基礎(chǔ)入門(mén)之靜態(tài)文件的引用，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-09-09
詳解在OpenCV中實(shí)現(xiàn)的圖像標(biāo)注技術(shù)
圖像標(biāo)注在計(jì)算機(jī)視覺(jué)中很重要，計(jì)算機(jī)視覺(jué)是一種技術(shù)，它允許計(jì)算機(jī)從數(shù)字圖像或視頻中獲得高水平的理解力，并以人類(lèi)的方式觀察和解釋視覺(jué)信息，本文將重點(diǎn)討論在OpenCV的幫助下創(chuàng)建這些注釋?zhuān)信d趣的朋友一起看看吧
2022-06-06
keras中模型訓(xùn)練class_weight,sample_weight區(qū)別說(shuō)明
這篇文章主要介紹了keras中模型訓(xùn)練class_weight,sample_weight區(qū)別說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-05-05
Python計(jì)算庫(kù)numpy進(jìn)行方差/標(biāo)準(zhǔn)方差/樣本標(biāo)準(zhǔn)方差/協(xié)方差的計(jì)算
今天小編就為大家分享一篇關(guān)于Python計(jì)算庫(kù)numpy進(jìn)行方差/標(biāo)準(zhǔn)方差/樣本標(biāo)準(zhǔn)方差/協(xié)方差的計(jì)算，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
2018-12-12
一文帶你探索Python中的eventlet通信機(jī)制
這篇文章主要為大家詳細(xì)介紹了Python中的eventlet通信機(jī)制的相關(guān)知識(shí)，文中的示例代碼講解詳細(xì)，對(duì)我們深入了解Python有一定幫助，需要的可以參考一下
2023-06-06