詳解python并發(fā)獲取snmp信息及性能測(cè)試
python & snmp
用python獲取snmp信息有多個(gè)現(xiàn)成的庫可以使用，其中比較常用的是netsnmp和pysnmp兩個(gè)庫。網(wǎng)上有較多的關(guān)于兩個(gè)庫的例子。
本文重點(diǎn)在于如何并發(fā)的獲取snmp的數(shù)據(jù)，即同時(shí)獲取多臺(tái)機(jī)器的snmp信息。
netsnmp
先說netsnmp。python的netsnmp，其實(shí)是來自于net-snmp包。
python通過一個(gè)c文件調(diào)用net-snmp的接口獲取數(shù)據(jù)。
因此，在并發(fā)獲取多臺(tái)機(jī)器的時(shí)候，不能夠使用協(xié)程獲取。因?yàn)槭褂脜f(xié)程，在get數(shù)據(jù)的時(shí)候，協(xié)程會(huì)一直等待net-snmp接口返回?cái)?shù)據(jù)，而不會(huì)像socket使用時(shí)那樣在等待數(shù)據(jù)時(shí)把CPU切換給其他協(xié)程使用。從這點(diǎn)上來說，使用協(xié)程和串行獲取沒有區(qū)別。
那么如何解決并發(fā)獲取的問題呢？可以使用線程，多線程獲取(當(dāng)然也可以使用多進(jìn)程)。多個(gè)線程同時(shí)調(diào)用net-snmp的接口獲取數(shù)據(jù)，然后cpu在多個(gè)線程之間不停切換。當(dāng)一個(gè)線程獲取一個(gè)結(jié)果后，可以繼續(xù)調(diào)用接口獲取下一個(gè)snmp數(shù)據(jù)。
這里我寫了一個(gè)樣例程序。首先把所有的host和oid做成任務(wù)放到隊(duì)列里，然后啟動(dòng)多個(gè)線程，去執(zhí)行獲取任務(wù)。程序樣例如下：
import threading
import time
import netsnmp
import Queue
start_time = time.time()
hosts = ["192.20.150.109", "192.20.150.110", "192.20.150.111", "192.20.150.112", "192.20.150.113", "192.20.150.114",
"192.20.150.115", "192.20.150.116", "192.20.150.117", "192.20.150.118", "192.20.150.119", "192.20.150.120",
"192.20.150.121", "192.20.80.148", "192.20.80.149", "192.20.96.59", "192.20.82.14", "192.20.82.15",
"192.20.82.17", "192.20.82.19", "192.20.82.12", "192.20.80.139", "192.20.80.137", "192.20.80.136",
"192.20.80.134", "192.20.80.133", "192.20.80.131", "192.20.80.130", "192.20.81.141", "192.20.81.140",
"192.20.82.26", "192.20.82.28", "192.20.82.23", "192.20.82.21", "192.20.80.128", "192.20.80.127",
"192.20.80.122", "192.20.81.159", "192.20.80.121", "192.20.80.124", "192.20.81.151", "192.20.80.118",
"192.20.80.119", "192.20.80.113", "192.20.80.112", "192.20.80.116", "192.20.80.115", "192.20.78.62",
"192.20.81.124", "192.20.81.125", "192.20.81.122", "192.20.81.121", "192.20.82.33", "192.20.82.31",
"192.20.82.32", "192.20.82.30", "192.20.81.128", "192.20.82.39", "192.20.82.37", "192.20.82.35",
"192.20.81.130", "192.20.80.200", "192.20.81.136", "192.20.81.137", "192.20.81.131", "192.20.81.133",
"192.20.81.134", "192.20.82.43", "192.20.82.45", "192.20.82.41", "192.20.79.152", "192.20.79.155",
"192.20.79.154", "192.25.76.235", "192.25.76.234", "192.25.76.233", "192.25.76.232", "192.25.76.231",
"192.25.76.228", "192.25.20.96", "192.25.20.95", "192.25.20.94", "192.25.20.93", "192.24.163.14",
"192.24.163.21", "192.24.163.29", "192.24.163.6", "192.18.136.22", "192.18.136.23", "192.24.193.2",
"192.24.193.19", "192.24.193.18", "192.24.193.11", "192.20.157.132", "192.20.157.133", "192.24.212.232",
"192.24.212.231", "192.24.212.230"]
oids = [".1.3.6.1.4.1.2021.11.9.0",".1.3.6.1.4.1.2021.11.10.0",".1.3.6.1.4.1.2021.11.11.0",".1.3.6.1.4.1.2021.10.1.3.1",
".1.3.6.1.4.1.2021.10.1.3.2",".1.3.6.1.4.1.2021.10.1.3.3",".1.3.6.1.4.1.2021.4.6.0",".1.3.6.1.4.1.2021.4.14.0",
".1.3.6.1.4.1.2021.4.15.0"]
myq = Queue.Queue()
rq = Queue.Queue()
#把host和oid組成任務(wù)
for host in hosts:
for oid in oids:
myq.put((host,oid))
def poll_one_host():
while True:
try:
#死循環(huán)從隊(duì)列中獲取任務(wù)，直到隊(duì)列任務(wù)為空
host, oid = myq.get(block=False)
session = netsnmp.Session(Version=2, DestHost=host, Community="cluster",Timeout=3000000,Retries=0)
var_list = netsnmp.VarList()
var_list.append(netsnmp.Varbind(oid))
ret = session.get(var_list)
rq.put((host, oid, ret, (time.time() - start_time)))
except Queue.Empty:
break
thread_arr = []
#開啟多線程
num_thread = 50
for i in range(num_thread):
t = threading.Thread(target=poll_one_host, kwargs={})
t.setDaemon(True)
t.start()
thread_arr.append(t)
#等待任務(wù)執(zhí)行完畢
for i in range(num_thread):
thread_arr[i].join()
while True:
try:
info = rq.get(block=False)
print info
except Queue.Empty:
print time.time() - start_time
break
netsnmp除了支持get操作之外，還支持walk操作，即遍歷某個(gè)oid。
但是walk使用的時(shí)候需要謹(jǐn)慎，以免導(dǎo)致高延時(shí)等問題，具體可以參見之前的一篇snmpwalk高延時(shí)問題分析的博客。
pysnmp
pysnmp是用python實(shí)現(xiàn)的一套snmp協(xié)議的庫。其自身提供了對(duì)于異步的支持。
import time
import Queue
from pysnmp.hlapi.asyncore import *
t = time.time()
myq = Queue.Queue()
#回調(diào)函數(shù)。在有數(shù)據(jù)返回時(shí)觸發(fā)
def cbFun(snmpEngine, sendRequestHandle, errorIndication, errorStatus, errorIndex, varBinds, cbCtx):
myq.put((time.time()-t, varBinds))
hosts = ["192.20.150.109", "192.20.150.110", "192.20.150.111", "192.20.150.112", "192.20.150.113", "192.20.150.114",
"192.20.150.115", "192.20.150.116", "192.20.150.117", "192.20.150.118", "192.20.150.119", "192.20.150.120",
"192.20.150.121", "192.20.80.148", "192.20.80.149", "192.20.96.59", "192.20.82.14", "192.20.82.15",
"192.20.82.17", "192.20.82.19", "192.20.82.12", "192.20.80.139", "192.20.80.137", "192.20.80.136",
"192.20.80.134", "192.20.80.133", "192.20.80.131", "192.20.80.130", "192.20.81.141", "192.20.81.140",
"192.20.82.26", "192.20.82.28", "192.20.82.23", "192.20.82.21", "192.20.80.128", "192.20.80.127",
"192.20.80.122", "192.20.81.159", "192.20.80.121", "192.20.80.124", "192.20.81.151", "192.20.80.118",
"192.20.80.119", "192.20.80.113", "192.20.80.112", "192.20.80.116", "192.20.80.115", "192.20.78.62",
"192.20.81.124", "192.20.81.125", "192.20.81.122", "192.20.81.121", "192.20.82.33", "192.20.82.31",
"192.20.82.32", "192.20.82.30", "192.20.81.128", "192.20.82.39", "192.20.82.37", "192.20.82.35",
"192.20.81.130", "192.20.80.200", "192.20.81.136", "192.20.81.137", "192.20.81.131", "192.20.81.133",
"192.20.81.134", "192.20.82.43", "192.20.82.45", "192.20.82.41", "192.20.79.152", "192.20.79.155",
"192.20.79.154", "192.25.76.235", "192.25.76.234", "192.25.76.233", "192.25.76.232", "192.25.76.231",
"192.25.76.228", "192.25.20.96", "192.25.20.95", "192.25.20.94", "192.25.20.93", "192.24.163.14",
"192.24.163.21", "192.24.163.29", "192.24.163.6", "192.18.136.22", "192.18.136.23", "192.24.193.2",
"192.24.193.19", "192.24.193.18", "192.24.193.11", "192.20.157.132", "192.20.157.133", "192.24.212.232",
"192.24.212.231", "192.24.212.230"]
oids = [".1.3.6.1.4.1.2021.11.9.0",".1.3.6.1.4.1.2021.11.10.0",".1.3.6.1.4.1.2021.11.11.0",".1.3.6.1.4.1.2021.10.1.3.1",
".1.3.6.1.4.1.2021.10.1.3.2",".1.3.6.1.4.1.2021.10.1.3.3",".1.3.6.1.4.1.2021.4.6.0",".1.3.6.1.4.1.2021.4.14.0",
".1.3.6.1.4.1.2021.4.15.0"]
snmpEngine = SnmpEngine()
#添加任務(wù)
for oid in oids:
for h in hosts:
getCmd(snmpEngine,
CommunityData('cluster'),
UdpTransportTarget((h, 161), timeout=3, retries=0,),
ContextData(),
ObjectType(ObjectIdentity(oid)),
cbFun=cbFun)
time1 = time.time() - t
#執(zhí)行異步獲取snmp
snmpEngine.transportDispatcher.runDispatcher()
#打印結(jié)果
while True:
try:
info = myq.get(block=False)
print info
except Queue.Empty:
print time1
print time.time() - t
break
pysnmp本身只支持最基礎(chǔ)的get和getnext命令，因此如果想使用walk，需要自己進(jìn)行實(shí)現(xiàn)。
性能測(cè)試
在同一個(gè)環(huán)境下，對(duì)兩者進(jìn)行了性能測(cè)試。兩者對(duì)198個(gè)host，10個(gè)oid進(jìn)行采集。
| 測(cè)試組 | 耗時(shí)(sec) |
|---|---|
| netsnmp(20線程) | 6.252 |
| netsnmp(50線程) | 3.269 |
| netsnmp(200線程) | 3.265 |
| pysnmp | 4.812 |
可以看到netsnmp的采集速度跟線程數(shù)有關(guān)。當(dāng)線程數(shù)增大到一定程度，采集時(shí)間不再縮短。因?yàn)殚_辟線程同樣會(huì)消耗時(shí)間。而已有的線程已經(jīng)足夠處理。
pysnmp性能較之略差一下。詳細(xì)分析pysnmp在添加任務(wù)(執(zhí)行g(shù)etCmd時(shí))消耗了約1.2s，之后的采集約消耗3.3秒。
在增加了oid數(shù)，在進(jìn)行實(shí)驗(yàn)。host仍然是198個(gè)，oid是42個(gè)。
| 測(cè)試組 | 耗時(shí)(sec) |
|---|---|
| netsnmp(20線程) | 30.935 |
| netsnmp(50線程) | 12.914 |
| netsnmp(200線程) | 4.044 |
| pysnmp | 11.043 |
可以看到差距被進(jìn)一步拉大。在線程足夠多的情況下，netsnmp的效率要明顯強(qiáng)于pysnmp。
因?yàn)槎叨贾С挚梢圆⑿胁杉鄠€(gè)host，從易用性來說，netsnmp更為簡單一些，且netsnmp支持walk功能。本文更加推薦netsnmp。
安裝netsnmp需要安裝net-snmp。如果centos，則使用yum會(huì)較為方便。
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- Python如何給你的程序做性能測(cè)試
- 基于python locust庫實(shí)現(xiàn)性能測(cè)試
- 通過python調(diào)用adb命令對(duì)App進(jìn)行性能測(cè)試方式
- Python內(nèi)置數(shù)據(jù)類型list各方法的性能測(cè)試過程解析
- 如何使用Python標(biāo)準(zhǔn)庫進(jìn)行性能測(cè)試
- Python字符串通過''+''和join函數(shù)拼接新字符串的性能測(cè)試比較
- Python 3.6 性能測(cè)試框架Locust安裝及使用方法(詳解)
- python常用web框架簡單性能測(cè)試結(jié)果分享(包含django、flask、bottle、tornado)
- 在Python中使用異步Socket編程性能測(cè)試
- python 字典(dict)遍歷的四種方法性能測(cè)試報(bào)告
- python 寫一個(gè)性能測(cè)試工具（一）
相關(guān)文章
Pycharm連接遠(yuǎn)程服務(wù)器并遠(yuǎn)程調(diào)試的全過程
PyCharm 是 JetBrains 開發(fā)的一款 Python 跨平臺(tái)編輯器,下面這篇文章主要介紹了Pycharm連接遠(yuǎn)程服務(wù)器并遠(yuǎn)程調(diào)試的全過程,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2021-06-06
ssh批量登錄并執(zhí)行命令的python實(shí)現(xiàn)代碼
有個(gè)任務(wù)是在這些電腦上執(zhí)行某些命令，者說進(jìn)行某些操作，比如安裝某些軟件，拷貝某些文件，批量關(guān)機(jī)等。如果一臺(tái)一臺(tái)得手工去操作，費(fèi)時(shí)又費(fèi)力，如果要進(jìn)行多個(gè)操作就更麻煩啦2012-05-05
PyQt5中QTimer定時(shí)器的實(shí)例代碼
如果需要在程序中周期性地進(jìn)行某項(xiàng)操作,比如檢測(cè)某種設(shè)備的狀態(tài),就會(huì)用到定時(shí)器，本文主要介紹了PyQt5中QTimer定時(shí)器的實(shí)例代碼，感興趣的可以了解一下2021-06-06
Python獲取Linux系統(tǒng)下的本機(jī)IP地址代碼分享
這篇文章主要介紹了Python獲取Linux系統(tǒng)下的本機(jī)IP地址代碼分享,本文直接給出實(shí)現(xiàn)代碼,可以獲取到eth0等網(wǎng)卡的IP地址,需要的朋友可以參考下2014-11-11
在本篇文章里小編給大家整理的是關(guān)于python中eval函數(shù)作用以及實(shí)例代碼，需要的朋友們參考下吧。2019-10-10
對(duì)Python+opencv將圖片生成視頻的實(shí)例詳解
今天小編就為大家分享一篇對(duì)Python+opencv將圖片生成視頻的實(shí)例詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python面向?qū)ο蟪绦蛟O(shè)計(jì)之繼承與多繼承用法分析
這篇文章主要介紹了Python面向?qū)ο蟪绦蛟O(shè)計(jì)之繼承與多繼承用法,結(jié)合實(shí)例形式分析了Python繼承與多繼承的簡單定義與使用方法,需要的朋友可以參考下2018-07-07
Python使用arrow庫優(yōu)雅地處理時(shí)間數(shù)據(jù)詳解
雖然Python提供了多個(gè)內(nèi)置模塊用于操作日期時(shí)間，但有的時(shí)候并不能滿足我們的需求，所以下面這篇文章主要給大家介紹了關(guān)于Python使用arrow庫如何優(yōu)雅地處理時(shí)間數(shù)據(jù)的相關(guān)資料，需要的朋友可以參考借鑒，下面來一起看看吧。2017-10-10
Python中CSV文件(逗號(hào)分割)實(shí)戰(zhàn)操作指南
CSV文件默認(rèn)以英文逗號(hào)做為列分隔符,換行符作為行分隔符,下面這篇文章主要給大家介紹了關(guān)于Python中CSV文件(逗號(hào)分割)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
python GUI庫圖形界面開發(fā)之PyQt5表單布局控件QFormLayout詳細(xì)使用方法與實(shí)例
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5布局控件QFormLayout詳細(xì)使用方法與實(shí)例,需要的朋友可以參考下2020-03-03