Python multiprocessing多進(jìn)程原理與應(yīng)用示例
本文實(shí)例講述了Python multiprocessing多進(jìn)程原理與應(yīng)用。分享給大家供大家參考,具體如下:
multiprocessing包是Python中的多進(jìn)程管理包,可以利用multiprocessing.Process對(duì)象來創(chuàng)建進(jìn)程,Process對(duì)象擁有is_alive()、join([timeout])、run()、start()、terminate()等方法。
multprocessing模塊的核心就是使管理進(jìn)程像管理線程一樣方便,每個(gè)進(jìn)程有自己獨(dú)立的GIL,所以不存在進(jìn)程間爭(zhēng)搶GIL的問題,在多核CPU環(huán)境中,可以大大提高運(yùn)行效率。
multiprocessing使用示例:
import multiprocessing
import time
import cv2
def daemon1(image):
name = multiprocessing.current_process().name
for i in range(50):
image = cv2.GaussianBlur(image, (3, 3), 1)
time.sleep(0.1)
print 'daemon1 done!'
cv2.imshow('daemon1', image)
def daemon2(image):
name = multiprocessing.current_process().name
for i in range(50):
image = cv2.GaussianBlur(image, (3, 3), 1)
time.sleep(0.5)
print 'daemon2 done!'
cv2.imshow('daemon2', image)
if __name__ == '__main__':
t1 = time.time()
number_kernel = multiprocessing.cpu_count()
print 'We have {0} kernels'.format(number_kernel)
p1 = multiprocessing.Process(name='daemon1',
target=daemon1,args= (cv2.imread('./p1.jpg'),))
p1.daemon = False
p2 = multiprocessing.Process(name='daemon2',
target=daemon2, args=(cv2.imread('./p2.jpg'),))
p2.daemon = False
p1.start()
p2.start()
print 'p1 is {0}'.format(p1.is_alive())
p1.terminate()
p1.join()
print 'p1 is {0}'.format(p1.is_alive())
print 'p2 is {0}'.format(p2.is_alive())
p2.join()
t2 = time.time()
print '!!!!!!!!!!!!!!!!!!!!OK!!!!!!!!!!!!!!!!!!!!!'
print 'total time is {0}'.format(t2-t1)
print 'p1.exitcode = {0}'.format(p1.exitcode)
print 'p2.exitcode = {0}'.format(p2.exitcode)
multiprocessing中Process是一個(gè)類,用于創(chuàng)建進(jìn)程,以及定義進(jìn)程的方法,Process類的構(gòu)造函數(shù)是:
def __init__(self, group=None, target=None, name=None, args=(), kwargs={})
參數(shù)含義:
- group:進(jìn)程所屬組,基本不用
- target: 創(chuàng)建進(jìn)程關(guān)聯(lián)的對(duì)象,需要傳入要多進(jìn)程處理的函數(shù)名
- name: 定義進(jìn)程的名稱
- args: 表示與target相關(guān)聯(lián)的函數(shù)的傳入?yún)?shù),可以傳入多個(gè),注意args是一個(gè)元組,如果傳入的參數(shù)只有一個(gè),需要表示為 args = (element1,)
- kwargs: 表示調(diào)用對(duì)象的字典
程序解讀:
- multiprocessing.cpu_count(): 返回機(jī)器上cpu核的總數(shù)量
- p1.daemon = False : 定義子進(jìn)程的運(yùn)行屬性,如果 .daemon設(shè)置為False表示子進(jìn)程可以在主進(jìn)程完成之后繼續(xù)執(zhí)行; 如果 .daemon設(shè)置為True,表示子進(jìn)程隨著主進(jìn)程的結(jié)束而結(jié)束;必須在start之前設(shè)置;
- p1.start(): 開始執(zhí)行子進(jìn)程p1
- p1.join(): 定義子進(jìn)程p1的運(yùn)行阻塞主進(jìn)程,只有p1子進(jìn)程執(zhí)行完成之后才會(huì)繼續(xù)執(zhí)行join之后的主進(jìn)程,但是子進(jìn)程間互相不受join影響。
- 可以定義子進(jìn)程阻塞主進(jìn)程的時(shí)間--p1.join(100),超時(shí)之后,主進(jìn)程不再等待,開始執(zhí)行。join()需要放在start()方法之后;
- p1.terminate():終止子進(jìn)程的執(zhí)行,其后要跟上jion()方法更新子進(jìn)程的狀態(tài);
- p1.exitcode: 進(jìn)程的退出狀態(tài): == 0 未生成任何錯(cuò)誤,正常退出; > 0 進(jìn)程有一個(gè)錯(cuò)誤,并以該錯(cuò)誤碼退出; <0 進(jìn)程由一個(gè)-1 * exitcode信號(hào)結(jié)束
在multiprocessing中使用pool
如果需要多個(gè)子進(jìn)程時(shí),使用進(jìn)程池(pool)來(自動(dòng))管理各個(gè)子進(jìn)程更加方便:
from multiprocessing import Pool
import os, time
def long_time_task(name):
print 'Run task {0} ({1})'.format(name,os.getpid())
start = time.time()
time.sleep(3)
end = time.time()
print 'Task {0} runs {1:.2f} seconds.'.format(name,end - start)
if __name__=='__main__':
print 'Parent process ({0})'.format(os.getpid)
p = Pool()
for i in range(12):
p.apply_async(long_time_task, args=(i,))
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses done.'
與Process類創(chuàng)建進(jìn)程的方法不同,Pool是通過apply_async(func,args=(args))方法創(chuàng)建進(jìn)程,一個(gè)進(jìn)程池中能同時(shí)運(yùn)行的任務(wù)數(shù)是機(jī)器上CPU核的總數(shù)量n_kernel,如果創(chuàng)建的子進(jìn)程數(shù)大于n_kernel,則同時(shí)執(zhí)行n_kernel個(gè)進(jìn)程,這n_kernel中某個(gè)進(jìn)程完成之后才會(huì)啟動(dòng)下一個(gè)進(jìn)程。
- os.getpid()是獲取當(dāng)前執(zhí)行的進(jìn)程的ID
- p.close()方法是關(guān)掉進(jìn)程池,表示不能再繼續(xù)向進(jìn)程池添加進(jìn)程了。
- p.join()方法是子進(jìn)程阻塞主進(jìn)程,必須在調(diào)用
p.close()關(guān)閉進(jìn)程池之后才能調(diào)用join()方法
多個(gè)子進(jìn)程間的通信
多個(gè)子進(jìn)程間的通信要用到multiprocessing.Queue,Queue的特性是它是一個(gè)消息隊(duì)列。比如有以下的需求,一個(gè)子進(jìn)程向隊(duì)列中寫數(shù)據(jù),另外一個(gè)進(jìn)程從隊(duì)列中取數(shù)據(jù)的例子:
from multiprocessing import Process, Queue
import os, time, random
def write(q):
for value in ['A', 'B', 'C']:
print 'Put {0} to queue...'.format(value)
q.put(value)
time.sleep(random.random())
def read(q):
while True:
if not q.empty():
value = q.get(True)
print 'Get {0} from queue.'.format(value)
time.sleep(random.random())
else:
break
if __name__=='__main__':
q = multiprocessing.Queue()
pw = Process(target=write, args=(q,))
pr = Process(target=read, args=(q,))
pw.start()
pw.join()
pr.start()
pr.join()
Queue使用方法:
- Queue.qsize():返回當(dāng)前隊(duì)列包含的消息數(shù)量;
- Queue.empty():如果隊(duì)列為空,返回True,反之False ;
- Queue.full():如果隊(duì)列滿了,返回True,反之False;
- Queue.get():獲取隊(duì)列中的一條消息,然后將其從列隊(duì)中移除,可傳參超時(shí)時(shí)長(zhǎng);
- Queue.get_nowait():相當(dāng)
Queue.get(False),取不到值時(shí)觸發(fā)異常:Empty; - Queue.put():將一個(gè)值添加進(jìn)數(shù)列,可傳參超時(shí)時(shí)長(zhǎng);
- Queue.put_nowait():相當(dāng)于
Queue.get(False),當(dāng)隊(duì)列滿了時(shí)報(bào)錯(cuò):Full;
在進(jìn)程池Pool中,使用Queue會(huì)出錯(cuò),需要使用Manager.Queue:
from multiprocessing import Process, Queue
import os, time, random
def write(q):
for value in ['A', 'B', 'C']:
print 'Put {0} to queue...'.format(value)
q.put(value)
time.sleep(random.random())
def read(q):
while True:
if not q.empty():
value = q.get(True)
print 'Get {0} from queue.'.format(value)
time.sleep(random.random())
else:
break
if __name__=='__main__':
manager = multiprocessing.Manager()
q = manager.Queue()
p = Pool()
pw = p.apply_async(write, args=(q,))
time.sleep(2)
pr = p.apply_async(read, args=(q,))
p.close()
p.join()
if not q.empty():
print 'q is not empty...'
else:
print 'q is empty...'
print 'OK'
if not q.empty():
print 'q is not empty...'
else:
print 'q is empty...'
print 'done...'
父進(jìn)程與子進(jìn)程共享內(nèi)存
定義普通的變量,不能實(shí)現(xiàn)在父進(jìn)程和子進(jìn)程之間共享:
import multiprocessing from multiprocessing import Pool def changevalue(n, a): n = 3.14 a[0] = 5 if __name__ == '__main__': num = 0 arr = range(10) p = Pool() p1 = p.apply_async(changevalue, args=(num, arr)) p.close() p.join() print num print arr[:]
結(jié)果輸出num的值還是在父進(jìn)程中定義的0,arr的第一個(gè)元素值還是0。
使用multiprocessing創(chuàng)建共享對(duì)象:
import multiprocessing
def changevalue(n, a):
n.value = 3.14
a[0] = 5
if __name__ == '__main__':
num = multiprocessing.Value('d', 0.0)
arr = multiprocessing.Array('i', range(10))
p = multiprocessing.Process(target=changevalue, args=(num, arr))
p.start()
p.join()
print num.value
print arr[:]
結(jié)果輸出num的值是在子進(jìn)程中修改的3.14,arr的第一個(gè)元素值更改為5。
共享內(nèi)存在Pool中的使用:
import multiprocessing
from multiprocessing import Pool
def changevalue(n, a):
n.value = 3.14
a[0] = 5
if __name__ == '__main__':
num = multiprocessing.Value('d', 0.0)
arr = multiprocessing.Array('i', range(10))
p = Pool()
p1 = p.apply_async(changevalue, args=(num, arr))
p.close()
p.join()
print num.value
print arr[:]
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python進(jìn)程與線程操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》、《Python+MySQL數(shù)據(jù)庫程序設(shè)計(jì)入門教程》及《Python常見數(shù)據(jù)庫操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
- python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)
- Python Multiprocessing多進(jìn)程 使用tqdm顯示進(jìn)度條的實(shí)現(xiàn)
- Python多進(jìn)程池 multiprocessing Pool用法示例
- Python3多進(jìn)程 multiprocessing 模塊實(shí)例詳解
- Python多進(jìn)程multiprocessing.Pool類詳解
- Python多進(jìn)程庫multiprocessing中進(jìn)程池Pool類的使用詳解
- python使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的示例代碼
相關(guān)文章
Python文件監(jiān)聽工具pyinotify與watchdog實(shí)例
今天小編就為大家分享一篇關(guān)于Python文件監(jiān)聽工具pyinotify與watchdog實(shí)例,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2018-10-10
python中的位置參數(shù)和關(guān)鍵字參數(shù)詳解
位置參數(shù)和關(guān)鍵字參數(shù)是 Python 中的兩種不同類型的函數(shù)參數(shù)傳遞方式,位置參數(shù)依賴于參數(shù)的位置順序,而關(guān)鍵字參數(shù)通過參數(shù)名傳遞,不受位置影響,本文通過代碼示例給大家詳細(xì)介紹了python中的位置參數(shù)和關(guān)鍵字參數(shù),需要的朋友可以參考下2023-12-12
Python文件右鍵找不到IDLE打開項(xiàng)解決辦法
這篇文章主要介紹了Python文件右鍵找不到IDLE打開項(xiàng)解決辦法,本文使用注冊(cè)表解決了這個(gè)問題,需要的朋友可以參考下2015-06-06
利用Python繪制創(chuàng)意中秋節(jié)月餅
又是一年中秋至——花好月圓夜。turtle庫作為Python重要的標(biāo)準(zhǔn)庫之一,是最有價(jià)值的程序設(shè)計(jì)入門實(shí)踐庫,它是程序設(shè)計(jì)入門層面最常用的基本繪圖庫。本文將使用turtle(海龜)來繪制中秋創(chuàng)意月餅,感興趣的可以了解一下2022-09-09
python腳本當(dāng)作Linux中的服務(wù)啟動(dòng)實(shí)現(xiàn)方法
今天小編就為大家分享一篇python腳本當(dāng)作Linux中的服務(wù)啟動(dòng)實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06

