Python通過Manager方式實現(xiàn)多個無關(guān)聯(lián)進程共享數(shù)據(jù)的實現(xiàn)

更新時間：2019年11月07日 09:30:55 作者：我愛學(xué)python

這篇文章主要介紹了Python通過Manager方式實現(xiàn)多個無關(guān)聯(lián)進程共享數(shù)據(jù)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

Python實現(xiàn)多進程間通信的方式有很多種，例如隊列，管道等。

但是這些方式只適用于多個進程都是源于同一個父進程的情況。

如果多個進程不是源于同一個父進程，只能用共享內(nèi)存，信號量等方式，但是這些方式對于復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，例如Queue，dict，list等，使用起來比較麻煩，不夠靈活。

Manager是一種較為高級的多進程通信方式，它能支持Python支持的的任何數(shù)據(jù)結(jié)構(gòu)。

它的原理是：先啟動一個ManagerServer進程，這個進程是阻塞的，它監(jiān)聽一個socket，然后其他進程（ManagerClient）通過socket來連接到ManagerServer，實現(xiàn)通信。

manager.py代碼，實現(xiàn)server和client兩個類

# encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
'''
進程間通信
'''
from multiprocessing.managers import BaseManager
from multiprocessing import RLock

MANAGER_PORT = 6000
MANAGER_DOMAIN = '0.0.0.0'
MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'

#定義一個Manager類
class InfoManager(BaseManager): pass


class DictItem():
  def __init__(self, ):
    self.items = dict()

  def set(self, key, value):
    self.items[key] = value

  def get(self, key):
    return self.items.get(key)

  def __setitem__(self, key, value):
    self.set(key, value)

#為這個manager類注冊存儲容器，也就是通過這個manager類實現(xiàn)的共享的變量，
#這個變量最好是一個類實例，自己定義的或者python自動的類的實例都可以
#這里不能把d改成dict()，因為Client那邊執(zhí)行d['keyi']='value'的時候會報錯：d這個變量不能修改
d = DictItem()
lock = RLock()
InfoManager.register('dict', callable=lambda: d)
InfoManager.register('open_qq_login_lock', callable=lambda: lock)


class ManagerServer():
  '''
  multiprocess Manager服務(wù)類
  '''

  def __init__(self, domain, port, auth_key):
    self.domain = domain
    self.port = port
    self.auth_key = auth_key

  def start_manager_server(self):
    self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)
    # self.dict = self.queue_manager.dict()
    self.server = self.queue_manager.get_server()

  def run(self):
    self.start_manager_server()
    self.server.serve_forever()

  def stop(self):
    self.server.shutdown()
    self.is_stop = 1


class ManagerClient():
  '''
  訪問mutiprocess Manager的類
  '''

  def __init__(self, domain, port, auth_key):
    self.domain = domain
    self.port = port
    self.auth_key = auth_key
    # self.get_share_dict()
    self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)
    self.info_manager.connect()

  def get_dict(self):
    # self.dict = m.dict()
    self.dict = self.info_manager.dict()
    return self.dict

  def get_open_qq_login_lock(self):
    self.open_qq_login_lock = self.info_manager.open_qq_login_lock()
    return self.open_qq_login_lock


if __name__ == '__main__':
  pass

用法

1.啟動一個ManagerServer，這個進程是阻塞的

import manager

def run():
  manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
  manager_server.run()
if __name__ == '__main__':
  run()

2.實例化一個client，獲取共享的變量

# 進程間共享變量
manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
share_dict = manager_client.get_dict()
open_qq_login_lock = manager_client.get_open_qq_login_lock()

注意：

對client獲取的變量修改，不會影響server那邊的變量，例如server中，client1獲取變量params1，把它修改為params2，server那邊的數(shù)據(jù)不會修改。如果要修改server的數(shù)據(jù)，需要調(diào)用server的方法，把server那邊的數(shù)據(jù)刷新。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: