Python多進程機制實例詳解

更新時間：2015年07月02日 11:15:54 作者：tianmo2010

這篇文章主要介紹了Python多進程機制,以實例形式詳細分析了Python多進程機制的原理與實現(xiàn)技巧,需要的朋友可以參考下

本文實例講述了Python多進程機制。分享給大家供大家參考。具體如下：

在以前只是接觸過PYTHON的多線程機制，今天搜了一下多進程，相關文章好像不是特別多?？戳藥灼≡嚵艘话?。程序如下，主要內(nèi)容就是通過PRODUCER讀一個本地文件，一行一行的放到隊列中去。然后會有相應的WORKER從隊列中取出這些行。

import multiprocessing
import os
import sys
import Queue
import time
def writeQ(q,obj):
    q.put(obj,True,None)
    print "put size: ",q.qsize()
def readQ(q):
    ret = q.get(True,1)
    print "get size: ",q.qsize()
    return ret
def producer(q):
    time.sleep(5)  #讓進行休息幾秒 方便ps命令看到相關內(nèi)容
    pid = os.getpid()
    handle_file = '/home/dwapp/joe.wangh/test/multiprocess/datafile'
    with open(handle_file,'r') as f:   #with...as... 這個用法今天也是第一次看到的
        for line in f:
            print "producer <" ,pid , "> is doing: ",line
            writeQ(q,line.strip())
    q.close()
def worker(q):
    time.sleep(5)  #讓進行休息幾秒 方便ps命令看到相關內(nèi)容
    pid = os.getpid()
    empty_count = 0
    while True:
        try:
            task = readQ(q)
            print "worker <" , pid , "> is doing: " ,task
            '''
            如果這里不休眠的話 一般情況下所有行都會被同一個子進程讀取到 為了使實驗效果更加清楚 在這里讓每個進程讀取完
一行內(nèi)容時候休眠5s 這樣就可以讓其他的進程到隊列中進行讀取
            '''
            time.sleep(5)  
        except Queue.Empty:
            empty_count += 1
            if empty_count == 3:
                print "queue is empty, quit"
                q.close()
                sys.exit(0)
def main():
    concurrence = 3
    q = multiprocessing.Queue(10)
    funcs = [producer , worker]
    for i in range(concurrence-1):
        funcs.append(worker)
    for item in funcs:
        print str(item)
    nfuncs = range( len(funcs) )
    processes = []    
    for i in nfuncs:
        p = multiprocessing.Process(target=funcs[i] , args=(q,))
        processes.append(p)
    print "concurrence worker is : ",concurrence," working start"
    for i in nfuncs:
        processes[i].start()
    for i in nfuncs:
        processes[i].join()
    print "all DONE"
if __name__ == '__main__':
    main()

實驗結(jié)果如下：

dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>python 1.py 
<function producer at 0xb7b9141c>
<function worker at 0xb7b91454>
<function worker at 0xb7b91454>
<function worker at 0xb7b91454>
concurrence worker is : 3 working start
producer < 28320 > is doing: line 1
put size: 1
producer < 28320 > is doing: line 2
put size: 2
producer < 28320 > is doing: line 3
put size: 3
producer < 28320 > is doing: line 4
put size: 3
producer < 28320 > is doing: line 5
get size: 3
put size: 4
worker < 28321 > is doing: line 1
get size: 3
worker < 28322 > is doing: line 2
get size: 2
worker < 28323 > is doing: line 3
get size: 1
worker < 28321 > is doing: line 4
get size: 0
worker < 28322 > is doing: line 5
queue is empty, quit
queue is empty, quit
queue is empty, quit
all DONE

程序運行期間在另外一個窗口進行ps命令可以觀測到一些進程的信息

dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp  13735 11830 0 Nov20 pts/12  00:00:05 python
dwapp  28319 27481 8 14:04 pts/0  00:00:00 python 1.py
dwapp  28320 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28321 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28322 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28323 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28325 27849 0 14:04 pts/13  00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp  13735 11830 0 Nov20 pts/12  00:00:05 python     #此時28320進程 也就是PRODUCER進程已經(jīng)結(jié)束
dwapp  28319 27481 1 14:04 pts/0  00:00:00 python 1.py
dwapp  28321 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28322 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28323 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28328 27849 0 14:04 pts/13  00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp  13735 11830 0 Nov20 pts/12  00:00:05 python
dwapp  28319 27481 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28321 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28322 28319 0 14:04 pts/0  00:00:00 python 1.py
dwapp  28323 28319 0 14:04 pts/0  00:00:00 [python] <defunct>  #這里應該是代表28323進程（WORKER）已經(jīng)運行結(jié)束了
dwapp  28331 27849 0 14:04 pts/13  00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp  13735 11830 0 Nov20 pts/12  00:00:05 python
dwapp  28337 27849 0 14:05 pts/13  00:00:00 grep python

希望本文所述對大家的Python程序設計有所幫助。

您可能感興趣的文章:

python實現(xiàn)用戶管理系統(tǒng)
這篇文章主要為大家詳細介紹了python實現(xiàn)用戶管理系統(tǒng)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2018-01-01
Python合并Excel表(多sheet)的實現(xiàn)
這篇文章主要介紹了Python合并Excel表(多sheet)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2021-04-04
python 實現(xiàn)mysql增刪查改示例代碼
python中可以通過pymysql實現(xiàn)MySQL數(shù)據(jù)庫的連接，并實現(xiàn)數(shù)據(jù)庫的各種操作，這篇文章主要給大家介紹了關于pymsql實現(xiàn)增刪改查的示例代碼,需要的朋友可以參考下
2021-11-11
利用python中pymysql操作MySQL數(shù)據(jù)庫的新手指南
PyMySQL是在Python3.x版本中用于連接MySQL服務器的一個庫,Python2中是使用mysqldb,這篇文章主要給大家介紹了關于利用python中pymysql操作MySQL數(shù)據(jù)庫的相關資料,需要的朋友可以參考下
2021-09-09
Python字符串的encode與decode研究心得亂碼問題解決方法
為什么Python使用過程中會出現(xiàn)各式各樣的亂碼問題，明明是中文字符卻顯示成“\xe4\xb8\xad\xe6\x96\x87”的形式？
2009-03-03
python df遍歷的N種方式(小結(jié))
本文主要介紹了python df遍歷的N種方式，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2022-07-07
10行Python代碼就能實現(xiàn)的八種有趣功能詳解
Python憑借其簡潔的代碼，贏得了許多開發(fā)者的喜愛，因此也就促使了更多開發(fā)者用Python開發(fā)新的模塊。面我們來看看，我們用不超過10行代碼能實現(xiàn)些什么有趣的功能吧
2022-03-03
django ModelForm修改顯示縮略圖 imagefield類型的實例
今天小編就為大家分享一篇django ModelForm修改顯示縮略圖 imagefield類型的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-07-07
用python寫個顏值評分器篩選最美主播
這篇文章主要介紹了我如何用python寫顏值評分器，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2021-08-08
Python 變量類型及命名規(guī)則介紹
Python編程中，變量是用于存放值或?qū)ο竦娜萜?。而變量的名稱可以自定義，基本的命名規(guī)則如下
2013-06-06