淺談python3.x pool.map()方法的實(shí)質(zhì)

更新時(shí)間：2019年01月16日 14:13:21 作者：踏破凌霄城

這篇文章主要介紹了python3.x pool.map方法的實(shí)質(zhì)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧

我使用多進(jìn)程的一般方式，都是multiprocessing模塊中的Pool.map()方法。下面寫一個(gè)簡單的示例和解析。至于此種方法使用多進(jìn)程的效率問題，還希望大佬予以指正。

示例：

"""
探索pool.map多進(jìn)程執(zhí)行方式的實(shí)質(zhì)
"""

from multiprocessing import Pool
from time import sleep
from datetime import datetime

class forMap:
  def __init__(self):
    self.name = '沒啥用的初始化'

  def forPrinit(self, i):
    sleep(i)
    print(i)
    return i ** 2

基本的代碼已經(jīng)寫好，下面看看怎么使用多進(jìn)程去執(zhí)行。

執(zhí)行示例1：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 進(jìn)程池中創(chuàng)建兩個(gè)進(jìn)程，調(diào)用計(jì)算機(jī)的兩個(gè)內(nèi)核去幫我做事。
  p = Pool(2)

  l = [2, 4, 6]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多進(jìn)程執(zhí)行時(shí)間：', e - s)

運(yùn)行結(jié)果：

2
4
6
[4, 16, 36]
多進(jìn)程執(zhí)行時(shí)間： 0:00:08.191251

由于在進(jìn)程池中創(chuàng)建了兩個(gè)進(jìn)程，所以代碼會(huì)調(diào)用計(jì)算機(jī)的兩個(gè)內(nèi)核。而列表l中的三個(gè)元素中的前兩個(gè)（“2”和“4”），會(huì)依次傳入函數(shù)中，由計(jì)算機(jī)內(nèi)核A和B去執(zhí)行。當(dāng)某一個(gè)內(nèi)核執(zhí)行完，會(huì)繼續(xù)接收下一個(gè)傳入?yún)?shù)“6”函數(shù)。而且內(nèi)核A執(zhí)行的函數(shù)，只會(huì)sleep兩秒，所以，傳入?yún)?shù)“6”的函數(shù)會(huì)由內(nèi)核A去執(zhí)行。所以A一共執(zhí)行了2 + 6 為8秒，又由于是并行，所以總的執(zhí)行時(shí)間是8秒（多的那零點(diǎn)幾是初始化、賦值、打印等操作）。

執(zhí)行示例2：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 進(jìn)程池中創(chuàng)建三個(gè)進(jìn)程
  p = Pool(3)

  l = [2, 4, 6]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多進(jìn)程執(zhí)行時(shí)間：', e - s)

執(zhí)行結(jié)果：

2
4
6
[4, 16, 36]
多進(jìn)程執(zhí)行時(shí)間： 0:00:06.273263

創(chuàng)建了三個(gè)進(jìn)程，并行執(zhí)行，所以執(zhí)行時(shí)間是6秒

執(zhí)行示例3：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 進(jìn)程池中創(chuàng)建三個(gè)進(jìn)程
  p = Pool(3)

  l = [2, 4, 6, 8]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多進(jìn)程執(zhí)行時(shí)間：', e - s)

執(zhí)行結(jié)果：

2
4
6
8
[4, 16, 36, 64]
多進(jìn)程執(zhí)行時(shí)間： 0:00:10.211451

在列表中添加一個(gè)元素，首先內(nèi)核A、B、C分別執(zhí)行2， 4， 6。A先結(jié)束，所以8也會(huì)由A來執(zhí)行。

執(zhí)行示例4：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 進(jìn)程池中創(chuàng)建三個(gè)進(jìn)程
  p = Pool(2)

  l = [2, 4, 8, 6]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多進(jìn)程執(zhí)行時(shí)間：', e - s)

執(zhí)行結(jié)果：