Python線程池ThreadPoolExecutor使用方式

更新時(shí)間：2024年02月10日 09:24:47 作者：AllardZhao

這篇文章主要介紹了Python線程池ThreadPoolExecutor使用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

如何使用線程池？

實(shí)際案例

我們之前實(shí)現(xiàn)了一個(gè)多線程web視頻監(jiān)控服務(wù)器，我們需要對(duì)請(qǐng)求連接數(shù)做限制，以防止惡意用戶發(fā)起大量連接而導(dǎo)致服務(wù)器創(chuàng)建大量線程，最終因資源耗盡而癱瘓。

可以使用線程池，替代原來的每次請(qǐng)求創(chuàng)建線程。

解決方案

python3中有線程池實(shí)現(xiàn)，使用標(biāo)準(zhǔn)庫(kù)中concurrent.futures下的ThreadPoolExecutor，對(duì)象的submit和map方法可以用來啟動(dòng)線程池中線程執(zhí)行任務(wù)。

線程池介紹：

線程池就是提前創(chuàng)建好某一固定數(shù)量的線程放到池子里面，需要使用的時(shí)候去這個(gè)池子中取一個(gè)線程出來讓它執(zhí)行任務(wù)，執(zhí)行完以后再歸還給線程池以便后面的任務(wù)繼續(xù)使用線程。

代碼演示

多線程池的簡(jiǎn)單使用

from concurrent.futures import ThreadPoolExecutor
 
# 創(chuàng)建Executor對(duì)象，指定線程池中線程數(shù)
executor = ThreadPoolExecutor(3)
 
 
# 使用線程池中線程執(zhí)行任務(wù)
# 定義任務(wù)函數(shù)a的b次方
def f(a, b):
    print('f', a, b)
    return a ** b
 
 
# 調(diào)用線程池中線程去執(zhí)行函數(shù)
future = executor.submit(f, 2, 3)
# 使用線程池中一個(gè)線程運(yùn)行這個(gè)函數(shù)，這個(gè)函數(shù)運(yùn)行完以后
# 這個(gè)線程又會(huì)歸還到線程池中去
 
# 使用result得到函數(shù)的運(yùn)行結(jié)果
print(future.result())
# 如果函數(shù)的運(yùn)行事件比較長(zhǎng)，在調(diào)用result的時(shí)候他還沒有執(zhí)行完，
# 這個(gè)result就會(huì)被阻塞到這里，直到這個(gè)函數(shù)運(yùn)行完
 
 
# 和python內(nèi)置的map方法類似，只不過他在多個(gè)線程上同時(shí)調(diào)用f
# 在第1個(gè)線程計(jì)算2的4次方，第2個(gè)線程計(jì)算3的5次方，第3個(gè)線程計(jì)算5的6次方
executor.map(f, [2, 3, 5], [4, 5, 6])
 
'''
假設(shè)當(dāng)前線程池中所有線程都在忙碌，一直在運(yùn)行函數(shù)并且沒有返回，
我們?cè)偬峤灰粋€(gè)任務(wù)的時(shí)候，就會(huì)出現(xiàn)pending，
等待線程池中有一個(gè)空閑線程來運(yùn)行它。
'''
import time
 
 
def f2(a, b):
    print('f2', a, b)
    time.sleep(10)
    # 等待10秒再返回
    return a ** b
 
 
# 運(yùn)行以下語句可以到，可以看到首先打印的'f2 2 4'、'f2 3 5'、'f2 5 6'
# 過了一會(huì)才把'f2 6 7'和'f2 7 8'打印出來，直到前面退出了他才得到運(yùn)行權(quán)利
executor.map(f2, [2, 3, 5, 6, 7], [4, 5, 6, 7, 8])