python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別
1、二者的區(qū)別
apply():
- 非異步(子進(jìn)程不是同時(shí)執(zhí)行的),堵塞主進(jìn)程。
- 它的非異步體現(xiàn)在:一個(gè)一個(gè)按順序執(zhí)行子進(jìn)程, 子進(jìn)程不是同時(shí)執(zhí)行的。
- 它的堵塞體現(xiàn)在:等到全部子進(jìn)程都執(zhí)行完畢后,繼續(xù)執(zhí)行apply()后面主進(jìn)程的代碼。
apply_async():
- 異步的,不堵塞主進(jìn)程。
- 它的異步體現(xiàn)在:子進(jìn)程之間是同時(shí)執(zhí)行的。子進(jìn)程被分配到不同的cpu上被執(zhí)行。
- 它的非堵塞體現(xiàn)在:他不會(huì)等待子進(jìn)程完全執(zhí)行完畢, 主進(jìn)程會(huì)繼續(xù)執(zhí)行, 他會(huì)根據(jù)系統(tǒng)調(diào)度來進(jìn)行進(jìn)程之間的切換。如果想堵塞主要進(jìn)程,需要用.join()函數(shù)來堵塞主進(jìn)程。
2、apply()
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#記錄一下開始執(zhí)行的時(shí)間
start_time = time.time()
# 創(chuàng)建一個(gè)進(jìn)程池,允許最多可以有3個(gè)子進(jìn)程可以同時(shí)執(zhí)行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply(doIt,[i])
print('mainProcess done time:%s s' % (time.time() - start_time))結(jié)果如下所示:
從結(jié)果中我們可以看到,主進(jìn)程開始執(zhí)行之后, 創(chuàng)建的三個(gè)子進(jìn)程也隨即開始執(zhí)行, 后面的主進(jìn)程被阻塞。而且三個(gè)子進(jìn)程是一個(gè)接一個(gè)按順序地執(zhí)行, 等到子進(jìn)程全部執(zhí)行完畢之后, 后面的主進(jìn)程才會(huì)繼續(xù)執(zhí)行, 打印出最后一句。所以,apply()函數(shù)果然是可以堵塞主進(jìn)程,而且是非異步的。

3、apply_async()
顧名思義,async就是異步的意思。接下來是使用apply_async(), 只需要把上面的代碼使用 apply()的地方改成apply_async() 即可, 代碼不再貼上
我們來看看運(yùn)行結(jié)果, 可以看出來, 截圖的第一句是上一個(gè)程序(也就是apply()函數(shù))的執(zhí)行消耗時(shí)間,
最后一句是使用apply_async()所消耗的時(shí)間, 在這里, 主進(jìn)程沒有被阻塞, 驗(yàn)證了apply_async()是非阻塞主進(jìn)程的, 子進(jìn)程沒有執(zhí)行, 驗(yàn)證了他是根據(jù)系統(tǒng)調(diào)度完成的,
為什么會(huì)這樣呢?
原因是, 進(jìn)程的切換時(shí)操作系統(tǒng)控制的, 我們首先運(yùn)行的是主進(jìn)程, 而CPU運(yùn)行得又很快, 快到還沒等系統(tǒng)調(diào)度到子線程, 主進(jìn)程就已經(jīng)運(yùn)行完畢了, 并且退出程序. 所以子進(jìn)程就沒有運(yùn)行了.

那么我們在使用apply_async()函數(shù)是不是就不能執(zhí)行子進(jìn)程呢?肯定可以?。。?!小老弟,想啥呢??還記得join()的作用嗎?他可以阻塞主進(jìn)程, 等待所有子進(jìn)程結(jié)束之后再運(yùn)行,join()就是告訴主進(jìn)程老子要運(yùn)行子進(jìn)程了,你先等等。
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#記錄一下開始執(zhí)行的時(shí)間
start_time = time.time()
# 創(chuàng)建一個(gè)進(jìn)程池,最大允許3個(gè)子進(jìn)程同時(shí)執(zhí)行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply_async(doIt,[i])
pool.close()
pool.join()
print('mainProcess done time:%s s' % (time.time() - start_time))結(jié)果如下所示:
我們看看加入這兩句的運(yùn)行結(jié)果, 我們可以看到即使是使用了非阻塞主進(jìn)程的apply_async() 也能讓子進(jìn)程運(yùn)行完畢之后再執(zhí)行主進(jìn)程了。
CPU在執(zhí)行第一個(gè)子進(jìn)程的時(shí)候, 還沒等第一個(gè)子進(jìn)程結(jié)束, 系統(tǒng)調(diào)度到了按順序調(diào)度到了第二個(gè)子進(jìn)程, 以此類推, 一直調(diào)度運(yùn)行子進(jìn)程, 一個(gè)接一個(gè)地結(jié)束子進(jìn)程的運(yùn)行, 最后運(yùn)行主進(jìn)程, 而且我們可以看到使用apply_async()的執(zhí)行效力會(huì)更高,看一下他們各自執(zhí)行結(jié)果最后一句的執(zhí)行消耗時(shí)間就知道了, 這也是官方推薦我們使用apply_async()的主要原因吧

到此這篇關(guān)于python中multiprosessing模塊的Pool()類中的apply()函數(shù)和apply_async()函數(shù)的區(qū)別的文章就介紹到這了,更多相關(guān)python multiprosessing內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
PyQt4實(shí)時(shí)顯示文本內(nèi)容GUI的示例
今天小編就為大家分享一篇PyQt4實(shí)時(shí)顯示文本內(nèi)容GUI的示例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06
Python實(shí)現(xiàn)異常檢測LOF算法的示例代碼
這篇文章主要為大家介紹一個(gè)經(jīng)典的異常檢測算法:局部離群因子(Local Outlier Factor),簡稱LOF算法。感興趣的小伙伴可以跟隨小編一起了解一下2022-03-03
python基礎(chǔ)知識(shí)(一)變量與簡單數(shù)據(jù)類型詳解
這篇文章主要介紹了python變量與簡單數(shù)據(jù)類型詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
Python教程之生產(chǎn)者消費(fèi)者模式解析
在并發(fā)編程中使用生產(chǎn)者和消費(fèi)者模式能夠解決大不多的并發(fā)問題。該模式通過平衡生產(chǎn)線程和消費(fèi)線程的工作能力來提高程序的整體處理數(shù)據(jù)的速度2021-09-09
python數(shù)據(jù)庫開發(fā)之MongoDB安裝及Python3操作MongoDB數(shù)據(jù)庫詳細(xì)方法與實(shí)例
這篇文章主要介紹了python數(shù)據(jù)庫開發(fā)之MongoDB安裝及Python3操作MongoDB數(shù)據(jù)庫詳細(xì)方法與實(shí)例,需要的朋友可以參考下2020-03-03
Pytorch框架構(gòu)建ResNet模型的實(shí)現(xiàn)示例
本文主要介紹了Pytorch框架構(gòu)建ResNet模型的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-06-06

