python線程池（threadpool）模塊使用筆記詳解

更新時(shí)間：2017年11月17日 16:50:16 作者：Xiao2i

這篇文章主要介紹了python線程池（threadpool）模塊使用筆記詳解，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧

最近在做一個(gè)視頻設(shè)備管理的項(xiàng)目，設(shè)備包括（攝像機(jī)，DVR,NVR等），包括設(shè)備信息補(bǔ)全，設(shè)備狀態(tài)推送，設(shè)備流地址推送等，如果同時(shí)導(dǎo)入的設(shè)備數(shù)量較多，如果使用單線程進(jìn)行設(shè)備檢測(cè)，那么由于設(shè)備數(shù)量較多，會(huì)帶來較大的延時(shí)，因此考慮多線程處理此問題。

可以使用python語言自己實(shí)現(xiàn)線程池，或者可以使用第三方包threadpool線程池包，本主題主要介紹threadpool的使用以及其里面的具體實(shí)現(xiàn)。

一、安裝與簡(jiǎn)介

pip install threadpool  

pool = ThreadPool(poolsize) 
requests = makeRequests(some_callable, list_of_args, callback) 
[pool.putRequest(req) for req in requests] 
pool.wait()

第一行定義了一個(gè)線程池，表示最多可以創(chuàng)建poolsize這么多線程；

第二行是調(diào)用makeRequests創(chuàng)建了要開啟多線程的函數(shù)，以及函數(shù)相關(guān)參數(shù)和回調(diào)函數(shù)，其中回調(diào)函數(shù)可以不寫，default是無，也就是說makeRequests只需要2個(gè)參數(shù)就可以運(yùn)行；

第三行用法比較奇怪，是將所有要運(yùn)行多線程的請(qǐng)求扔進(jìn)線程池，[pool.putRequest(req) for req in requests]等同于

for req in requests: pool.putRequest(req)

第四行是等待所有的線程完成工作后退出。

二、代碼實(shí)例

import time
def sayhello(str):
  print "Hello ",str
  time.sleep(2)

name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
for i in range(len(name_list)):
  sayhello(name_list[i])
print '%d second'% (time.time()-start_time)

改用線程池代碼,花費(fèi)時(shí)間更少，更效率

import time
import threadpool 
def sayhello(str):
  print "Hello ",str
  time.sleep(2)

name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
pool = threadpool.ThreadPool(10) 
requests = threadpool.makeRequests(sayhello, name_list) 
[pool.putRequest(req) for req in requests] 
pool.wait() 
print '%d second'% (time.time()-start_time)

當(dāng)函數(shù)有多個(gè)參數(shù)的情況，函數(shù)調(diào)用時(shí)第一個(gè)解包list，第二個(gè)解包dict，所以可以這樣：

def hello(m, n, o):
  """"""
  print "m = %s, n = %s, o = %s"%(m, n, o)
   
 
if __name__ == '__main__':
   
  # 方法1 
  lst_vars_1 = ['1', '2', '3']
  lst_vars_2 = ['4', '5', '6']
  func_var = [(lst_vars_1, None), (lst_vars_2, None)]
  # 方法2
  dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'}
  dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'}
  func_var = [(None, dict_vars_1), (None, dict_vars_2)]  
   
  pool = threadpool.ThreadPool(2)
  requests = threadpool.makeRequests(hello, func_var)
  [pool.putRequest(req) for req in requests]
  pool.wait()

需要把所傳入的參數(shù)進(jìn)行轉(zhuǎn)換，然后帶人線程池。

def getuserdic():
  username_list=['xiaozi','administrator']
  password_list=['root','','abc123!','123456','password','root']
  userlist = []
  
  for username in username_list:
    
    user =username.rstrip()
    for password in password_list:
      pwd = password.rstrip()
      userdic ={}
      userdic['user']=user
      userdic['pwd'] = pwd
      tmp=(None,userdic)
      userlist.append(tmp)
  return userlist

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: