Python基于進程池實現(xiàn)多進程過程解析

更新時間：2020年04月30日 11:32:22 作者：杰鑫哥

這篇文章主要介紹了Python基于進程池實現(xiàn)多進程過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

1、注意：pool必須在 if __name__ == '__main__' 下面運行，不然會報錯

2、多進程內(nèi)出現(xiàn)錯誤會直接跳過該進程，并且默認不會打印錯誤信息

3、if__name__下面的數(shù)據(jù)需要通過參數(shù)傳入主函數(shù)里面，不然主函數(shù)獲取不到該數(shù)據(jù)值而報錯。

4、若不通過傳參形式傳入數(shù)據(jù)，可以定義全局變量。但是全局變量的值不能在多進程里面進行修改。

代碼如下

from multiprocessing import Pool # 進程池，用于多進程
import os # 用于獲取當前執(zhí)行的文件名
import time
import traceback # 用于捕獲異常
import sys # 用于捕獲異常


def main_func(i): # 多進程運行的函數(shù)
  try: # 多進程中發(fā)生異常是不會打印錯誤信息，并且當前進程會直接跳過，所以異常需要自行捕獲
    rand_time = random.randint(1, 3) # 隨機產(chǎn)生1~3的整數(shù)
    time.sleep(rand_time )
    print(i)
  except:
    current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 獲取當前文件名稱
    cur_err_filname = current_filename + '_error.txt'
    error_info = sys.exc_info() # 打印異常
    with open(f'{cur_err_filname }', 'a') as f:
      error_str = f'{i}:ERROR OCCURRED，{time.strftime("%Y-%m-%d %H:%M:%S")}：\n {error_info[0]}: {error_info[1]}' # 記錄當前進程特征值，錯誤發(fā)生時間 ，錯誤類型，錯誤概述
      print(error_str, file=f) # 通過打印方式寫入文件
      traceback.print_tb(error_info[2], file=f) # 錯誤細節(jié)描述（包括bug的代碼位置）
      f.write(f"{'=' * 50}\n") # 分行


if __name__ == '__main__': # 必須在此語句下面運行，不然會報錯
  pool = Pool(5) # 定義進程數(shù)量
  for i in range(20):
    pool.apply_async(main_func, (i, )) # 調(diào)用函數(shù)執(zhí)行多進程
  pool.close() # 關(guān)閉進程池
  pool.join() # 阻塞進程，此兩部不能少，保證多進程正常運行

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python實現(xiàn)平行坐標圖的繪制(plotly)方式
今天小編就為大家分享一篇Python實現(xiàn)平行坐標圖的繪制(plotly)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-11-11
Django 權(quán)限管理(permissions)與用戶組(group)詳解
這篇文章主要介紹了Django 權(quán)限管理(permissions)與用戶組(group)詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-11-11
Django中prefetch_related()函數(shù)優(yōu)化實戰(zhàn)指南
我們可以利用Django框架中select_related和prefetch_related函數(shù)對數(shù)據(jù)庫查詢優(yōu)化,這篇文章主要給大家介紹了關(guān)于Django中prefetch_related()函數(shù)優(yōu)化的相關(guān)資料,需要的朋友可以參考下
2022-11-11
Keras深度學習模型Sequential和Model詳解
這篇文章主要介紹了Keras深度學習模型Sequential和Model詳解,在Keras中有兩種深度學習的模型：序列模型(Sequential)和通用模型(Model),差異在于不同的拓撲結(jié)構(gòu),,需要的朋友可以參考下
2023-08-08
Python中常見占位符的用法解析
在Python編程中,經(jīng)常需要在字符串中插入變量或占位符來構(gòu)建動態(tài)的文本內(nèi)容,這篇文章主要為大家介紹了一些常見占位符的使用,需要的可以了解下
2024-01-01
Python計算兩個矩形重合面積代碼實例
這篇文章主要介紹了Python 實現(xiàn)兩個矩形重合面積代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-09-09
淺談keras使用中val_acc和acc值不同步的思考
這篇文章主要介紹了淺談keras使用中val_acc和acc值不同步的思考，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
Python實現(xiàn)破解網(wǎng)站登錄密碼(帶token驗證)
這篇文章主要為大家介紹一個Python暴力破解網(wǎng)站登錄密碼腳本(帶token驗證)，文中的過程講解詳細，對我們學習Python有一定的幫助，感興趣的可以學習一下
2022-02-02
python使用pyshp讀寫shp文件的實現(xiàn)
本文主要介紹了python使用pyshp讀寫shp文件的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2023-03-03
詳解python環(huán)境安裝selenium和手動下載安裝selenium的方法
這篇文章主要介紹了詳解python環(huán)境安裝selenium和手動下載安裝selenium的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-03-03