Python2.7實(shí)現(xiàn)多進(jìn)程下開發(fā)多線程示例

更新時(shí)間：2019年05月31日 09:36:40 作者：CarolLXW

這篇文章主要為大家詳細(xì)介紹了Python2.7實(shí)現(xiàn)多進(jìn)程下開發(fā)多線程示例，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

簡單的基于Python2.7版本的多進(jìn)程下開發(fā)多線程的示例，供大家參考，具體內(nèi)容如下

可以使得程序執(zhí)行效率至少提升10倍

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
 @Time : 2018/10/24
 @Author : LiuXueWen
 @Site : 
 @File : transfer.py
 @Software: PyCharm
 @Description: 
"""

import os
import traceback
import threading
from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool


# 兼容python2.7上多線程的bug，不加上下面的反代理程序不能正常執(zhí)行
def proxy(cls_instance, i):
 return cls_instance.multiprocess_thread(i)
def proxy2(cls_instance, i):
 return cls_instance.file_operation(i)

class file2transfer():
 # 多進(jìn)程執(zhí)行程序
 def multiprocessingTransferFiles(self):
  try:
   # 創(chuàng)建進(jìn)程池
   p = Pool()
   //參數(shù)末尾必須加上逗號(hào)
   p.apply_async(proxy, args=(self, self.root_path,))
   p.close()
   p.join()
  except Exception as e:
   print(e)

 # 每個(gè)進(jìn)程下的多線程執(zhí)行，線程數(shù)等于當(dāng)前機(jī)器的核數(shù)
 def multiprocess_thread(self, root_path):
  try:
   # 創(chuàng)建線程鎖
   lock = threading.RLock()
   lock.acquire()
   # 獲取每個(gè)文件
   for pfile in os.listdir(root_path):
    # 獲取文件的完整路徑
    full_file_path = os.path.join(root_path, pfile)
    # 多線程讀寫文件
    p = ThreadPool()
    # 執(zhí)行線程
    p.apply_async(proxy2, args=(self, full_file_path,))
    p.close()
    p.join()
  except Exception as e:
   print(e)
  finally:
   # 釋放線程鎖
   lock.release()

 # 對(duì)每個(gè)文件夾下的每個(gè)文件進(jìn)行操作
 def file_operation(self, full_file_path):
  try:
   // TODO 真正需要單獨(dú)執(zhí)行的操作
   pass
  except Exception as e:
   print(e)

以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python 堆疊柱狀圖繪制方法
這篇文章主要介紹了Python 堆疊柱狀圖繪制方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-07-07
Python實(shí)現(xiàn)自動(dòng)化網(wǎng)頁操作步驟
這篇文章主要介紹Python如何實(shí)現(xiàn)自動(dòng)化網(wǎng)頁操作，文中有詳細(xì)的流程步驟和代碼示例，對(duì)我們的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
2023-06-06
Python操作Excel文件的11種方法(全網(wǎng)最全)
在日常工作或開發(fā)過程中,Excel文件作為一種常用的數(shù)據(jù)存儲(chǔ)格式,其高效便捷的數(shù)據(jù)處理能力被廣泛應(yīng)用于數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析等領(lǐng)域,Python作為一種強(qiáng)大的編程語言,提供了豐富的庫支持來實(shí)現(xiàn)對(duì)Excel文件的操作,本篇將詳細(xì)介紹如何使用Python來操作Excel文件
2025-03-03
Python字典取鍵、值對(duì)的方法步驟
這篇文章主要介紹了Python字典取鍵、值對(duì)的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-09-09
Python實(shí)現(xiàn)豆瓣圖片下載的方法
這篇文章主要介紹了Python實(shí)現(xiàn)豆瓣圖片下載的方法,涉及Python針對(duì)網(wǎng)頁操作的相關(guān)技巧,需要的朋友可以參考下
2015-05-05
Python動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)虛擬機(jī)部署的算法思想
這篇文章主要介紹了Python動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)虛擬機(jī)部署的算法思想，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2021-07-07
Python處理Excel文件實(shí)例代碼
本篇文章主要介紹了Python處理Excel文件實(shí)例代碼，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2017-06-06
淺談一下Python中5種下劃線的含義
這篇文章主要介紹了Python中5種下劃線的含義,在我們學(xué)習(xí)Python的過程中,經(jīng)常會(huì)遇到一些帶下劃線的詞,那么不同的下劃線有什么意義呢,一起來學(xué)習(xí)一下吧
2023-03-03
Python制作春聯(lián)的示例代碼
春聯(lián)是中國傳統(tǒng)文化中最具內(nèi)涵的元素之一，它以對(duì)仗工整、簡潔精巧的文字描繪美好形象，抒發(fā)美好愿望，是中國特有的文學(xué)形式，是華人們過年的重要習(xí)俗。本文將通過Python制作春聯(lián)，需要的可以參考一下
2022-01-01
python中遍歷文件的3個(gè)方法
這篇文章主要介紹了python中遍歷文件的3個(gè)方法,本文分別使用os.path.walk()、os.walk()、os.listdir()來實(shí)現(xiàn),需要的朋友可以參考下
2014-09-09