對Python subprocess.Popen子進(jìn)程管道阻塞詳解
更新時間：2018年10月29日 08:44:36 作者：獨(dú)一無二的小個性
今天小編就為大家分享一篇對Python subprocess.Popen子進(jìn)程管道阻塞詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
問題產(chǎn)生描述
使用子進(jìn)程處理一個大的日志文件，并對文件進(jìn)行分析查詢，需要等待子進(jìn)程執(zhí)行的輸出結(jié)果，進(jìn)行下一步處理。
出問題的代碼
# 啟用子進(jìn)程執(zhí)行外部shell命令
def __subprocess(self,cmd):
try:
# 執(zhí)行外部shell命令， 輸出結(jié)果輸出管道
p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
p.wait()
# 從標(biāo)準(zhǔn)輸出讀出shell命令的輸出結(jié)果
#rt = p.stdout.read().decode()
# 以換行符拆分?jǐn)?shù)據(jù)，并去掉換行符號存入列表
rt_list = rt.strip().split('\n')
except Exception as e:
if(DEBUG):
print(traceback.format_exc())
return rt_list
問題分析
子進(jìn)程產(chǎn)生一些數(shù)據(jù)，他們會被buffer起來，當(dāng)buffer滿了，會寫到子進(jìn)程的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤輸出，這些東西通過管道發(fā)送給父進(jìn)程。當(dāng)管道滿了之后，子進(jìn)程就停止寫入，于是就卡住了，及時取走管道的輸出就不會出現(xiàn)阻塞了
但是本人此處采取的是臨時文件接收子進(jìn)程輸出，由于臨時文件是建立在磁盤上的，沒有size的限制，并且文件被close后，相應(yīng)的磁盤上的空間也會被釋放掉。
已改進(jìn)的代碼
import tempfile
# 啟用子進(jìn)程執(zhí)行外部shell命令
def __subprocess(self,cmd):
try:
# 得到一個臨時文件對象， 調(diào)用close后，此文件從磁盤刪除
out_temp = tempfile.TemporaryFile(mode='w+')
# 獲取臨時文件的文件號
fileno = out_temp.fileno()
# 執(zhí)行外部shell命令， 輸出結(jié)果存入臨時文件中
p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno)
p.wait()
# 從臨時文件讀出shell命令的輸出結(jié)果
out_temp.seek(0)
rt = out_temp.read()
# 以換行符拆分?jǐn)?shù)據(jù)，并去掉換行符號存入列表
rt_list = rt.strip().split('\n')
except Exception as e:
if(DEBUG):
print(traceback.format_exc())
finally:
if out_temp:
out_temp.close()
return rt_list
以上這篇對Python subprocess.Popen子進(jìn)程管道阻塞詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python基礎(chǔ)教程之popen函數(shù)操作其它程序的輸入和輸出示例
- Python?subprocess.Popen?實(shí)時輸出?stdout的解決方法(正確管道寫法)
- Python調(diào)用系統(tǒng)命令的四種方法詳解(os.system、os.popen、commands、subprocess)
- Python調(diào)用系統(tǒng)命令os.system()和os.popen()的實(shí)現(xiàn)
- 解決python3中os.popen()出錯的問題
- python中的subprocess.Popen()使用詳解
- Python中的Popen函數(shù)demo演示
相關(guān)文章
matplotlib 范圍選區(qū)(SpanSelector)的使用
這篇文章主要介紹了matplotlib 范圍選區(qū)(SpanSelector)的使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
inux 下隱藏文件是以句號 “.” 開頭的文件，根據(jù)文件名即可判斷是否為隱藏文件。win 下是以文件隱藏屬性確定的，所以，只能通過微軟的 API 獲取隱藏屬性來判斷是否為隱藏文件2014-03-03
這篇文章主要介紹了Python生成數(shù)字圖片代碼分享，具有一定參考價值，需要的朋友可以了解下。2017-10-10
本文主要介紹了Python?timeit使用小結(jié),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01
這篇文章主要介紹了pycharm進(jìn)入科學(xué)模式以及退出方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
Lambda表達(dá)式在Python中經(jīng)常使用到，本文是給大家分享的小編總結(jié)出來的Lambda表達(dá)式的常用方法。2018-01-01
這篇文章主要介紹了Django url 路由匹配過程詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
這篇文章主要為大家介紹了Python高級特性之切片迭代列表生成式及生成器詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2021-10-10
在python中使用SQLAlchemy查詢PostgreSQL視圖的流程步驟
作為軟件開發(fā)人員,查詢 PostgreSQL 視圖是一項(xiàng)常見任務(wù),使用視圖（代表SQL 查詢輸出的虛擬表）被認(rèn)為是處理關(guān)系數(shù)據(jù)庫時的有效方法,本文介紹如何在 Python 中使用 SQLAlchemy 查詢 PostgreSQL 視圖,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了如何在Python中對文件進(jìn)行操作，文章圍繞主題展開內(nèi)容，即使用Python中內(nèi)置的open()函數(shù)來打開文件，返回文件對象，并對文件進(jìn)行處理2022-08-08