Python使用grequests(gevent+requests)并發(fā)發(fā)送請求過程解析
前言
requests是Python發(fā)送接口請求非常好用的一個三方庫,由K神編寫,簡單,方便上手快。但是requests發(fā)送請求是串行的,即阻塞的。發(fā)送完一條請求才能發(fā)送另一條請求。
為了提升測試效率,一般我們需要并行發(fā)送請求。這里可以使用多線程,或者協(xié)程,gevent或者aiohttp,然而使用起來,都相對麻煩。
grequests是K神基于gevent+requests編寫的一個并發(fā)發(fā)送請求的庫,使用起來非常簡單。
安裝方法: pip install gevent grequests
項目地址:https://github.com/spyoungtech/grequests
grequests簡單使用
首先構(gòu)造一個請求列表,使用grequests.map()并行發(fā)送,得到一個響應(yīng)列表。示例如下。
import grequests
req_list = [ # 請求列表
grequests.get('http://httpbin.org/get?a=1&b=2'),
grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]
res_list = grequests.map(req_list) # 并行發(fā)送,等最后一個運行完后返回
print(res_list[0].text) # 打印第一個請求的響應(yīng)文本
grequests支持get、post、put、delete等requests支持的HTTP請求方法,使用參數(shù)和requests一致,發(fā)送請求非常簡單。
通過遍歷res_list可以得到所有請求的返回結(jié)果。
grequests和requests性能對比
我們可以對比下requests串行和grequests并行請求100次github.com的時間,示例如下。
使用requests發(fā)送請求
import requests
import time
start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)
實際耗時約100s+
使用grequests發(fā)送
import grequests
import time
start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)
實際耗時約3.58s
異常處理
在批量發(fā)送請求時難免遇到某個請求url無法訪問或超時等異常,grequests.map()方法還支持自定義異常處理函數(shù),示例如下。
import grequests
def err_handler(request, exception):
print("請求出錯")
req_list = [
grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超時異常
grequests.get('http://fakedomain/'), # 該域名不存在
grequests.get('http://httpbin.org/status/500') # 正常返回500的請求
]
res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)
運行結(jié)果:
請求出錯 請求出錯 [None, None, <Response [500]>]
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
python實現(xiàn)的正則表達式功能入門教程【經(jīng)典】
這篇文章主要介紹了python實現(xiàn)的正則表達式功能,詳細分析了Python正則表達式中常用的各種符號、函數(shù)等的使用方法與注意事項,需要的朋友可以參考下2017-06-06
Python多進程與服務(wù)器并發(fā)原理及用法實例分析
這篇文章主要介紹了Python多進程與服務(wù)器并發(fā)原理及用法,深入淺出的介紹了進程、并行、并發(fā)、同步、異步等相關(guān)概念與原理,并結(jié)合實例形式給出了Python多進程編程相關(guān)操作技巧,需要的朋友可以參考下2018-08-08

