Python?retrying?重試機(jī)制詳解
我們?cè)诔绦蜷_發(fā)中,經(jīng)常會(huì)需要請(qǐng)求一些外部的接口資源,而且我們不能保證每次請(qǐng)求一定會(huì)成功,所以這些涉及到網(wǎng)絡(luò)請(qǐng)求的代碼片段就需要加上重試機(jī)制。下面來說一下Python中的重試方法。
循環(huán)加判斷
最簡(jiǎn)單的重試方式就是在需要進(jìn)行重試的代碼片段上加一個(gè)循環(huán),程序內(nèi)捕獲異常,如果執(zhí)行成功就退出循環(huán),執(zhí)行失敗就就重復(fù)執(zhí)行相關(guān)代碼,例如:
import requests
def req_with_retry(url):
retry_max = 10 # 最大重試次數(shù)為10次
for i in range(1, retry_max+1):
try:
print("第{}次請(qǐng)求".format(i))
# 這里請(qǐng)求不到會(huì)拋ConnectTimeout異常
res = requests.get(url, timeout=1)
data = res.json()
print("請(qǐng)求成功:", data)
break
except requests.exceptions.ConnectTimeout as e:
continue
# 請(qǐng)求一個(gè)不存在的網(wǎng)址
req_with_retry(https://www.hahaha.cn/haha)
執(zhí)行結(jié)果:

由于請(qǐng)求了一個(gè)不存在的網(wǎng)址,所以一直在重試,知道達(dá)到最大次數(shù)10次。但是這樣有一定的代碼侵入性,在業(yè)務(wù)邏輯上加入循環(huán)判斷顯得很不美觀,別著急,往下看,還有更好的方法。
retrying
retrying是Python的一個(gè)第三方庫,它提供一個(gè)裝飾器函數(shù)retry,被裝飾的業(yè)務(wù)函數(shù)就會(huì)在運(yùn)行失敗的條件下重新執(zhí)行,默認(rèn)只要報(bào)錯(cuò)就會(huì)一直重試,直至執(zhí)行成功。
可以使用pip install retrying進(jìn)行安裝。
例如下面一段代碼,我們使用生成隨機(jī)數(shù)的大小的方式模擬業(yè)務(wù)的成功與失敗,只要是生成的隨機(jī)數(shù)大于2,都視為失敗,就會(huì)重試,直到生成的隨機(jī)數(shù)小于2:
import random
from retrying import retry
@retry
def random_with_retry():
if random.randint(0, 10) > 2:
print("大于2,重試...")
raise Exception("大于2")
print("小于2,成功!")
random_with_retry()
運(yùn)行結(jié)果如下:

retry還可以接受一些參數(shù),下面是源碼中Retrying類的初始化函數(shù)中可選的參數(shù):

stop_max_attempt_number:最大重試次數(shù),超過該次數(shù)就停止重試
stop_max_delay:最大延遲時(shí)間(執(zhí)行這個(gè)方法重試的總時(shí)間),超過該時(shí)間就停止
wait_fixed:兩次retrying之間的等待時(shí)間
wait_random_min和wait_random_max:用隨機(jī)的方式產(chǎn)生兩次retrying之間的等待時(shí)間
wait_incrementing_start和wait_incrementing_increment:每調(diào)用一次增加固定時(shí)長
wait_exponential_multiplier和wait_exponential_max:以指數(shù)的形式產(chǎn)生兩次retrying之間的等待時(shí)間,產(chǎn)生的值為2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已經(jīng)retry的次數(shù),如果產(chǎn)生的這個(gè)值超過了wait_exponential_max的大小,那么之后兩個(gè)retrying之間的停留值都為wait_exponential_max。
特別需要注意的是retry_on_exception參數(shù),它接收一個(gè)函數(shù),用法如下:
# 判斷異常
def is_MyError(exception):
print("判斷異常", exception)
print(isinstance(exception, (ValueError, IOError, ConnectionError)))
return isinstance(exception, (ValueError, IOError, ConnectionError))
@retry(retry_on_exception=is_MyError)
def random_with_retry():
"""
隨機(jī)一個(gè)0-10之前的整數(shù),大于2拋異常,小于2成功
:return:
"""
if random.randint(0, 10) > 2:
print("大于2,重試...")
raise ValueError("大于2")
print("小于2,成功!")
random_with_retry()
這里retry_on_exception參數(shù)的大體思想是:接收一個(gè)自定義函數(shù)is_MyError,在is_MyError函數(shù)里判斷了是不是屬于ValueError, IOError, ConnectionError這三種異常;random_with_retry()函數(shù)如果拋出了異常,會(huì)去函數(shù)is_MyError()判斷返回的是True還是False,如果是True則繼續(xù)重試,如果是False則立即停止并拋出異常。
還有retry_on_result參數(shù),也是接收一個(gè)函數(shù),判斷業(yè)務(wù)函數(shù)返回哪些結(jié)果時(shí)需要重試,思想和retry_on_exception參數(shù)類似。
我們可以根據(jù)自己的需要進(jìn)行合理的搭配這些參數(shù),達(dá)到我們想要的效果。
總結(jié)
本篇文章就到這里了,希望能夠給你帶來幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
如何運(yùn)用sklearn做邏輯回歸預(yù)測(cè)
這篇文章主要介紹了如何運(yùn)用sklearn做邏輯回歸預(yù)測(cè)問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06
python爬蟲框架scrapy實(shí)現(xiàn)模擬登錄操作示例
這篇文章主要介紹了python爬蟲框架scrapy實(shí)現(xiàn)模擬登錄操作,結(jié)合實(shí)例形式分析了scrapy框架實(shí)現(xiàn)模擬登陸操作的步驟、相關(guān)實(shí)現(xiàn)技巧與注意事項(xiàng),需要的朋友可以參考下2018-08-08
Pytorch?Mac?GPU?訓(xùn)練與測(cè)評(píng)實(shí)例
這篇文章主要為大家介紹了Pytorch?Mac?GPU?訓(xùn)練與測(cè)評(píng)實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-01-01
conda?install?nb_conda失敗原因分析及解決
這篇文章主要給大家介紹了關(guān)于conda?install?nb_conda失敗原因分析及解決方法,conda install nb_conda顯示錯(cuò)誤的原因可能有很多,具體原因取決于你的系統(tǒng)環(huán)境和安裝的conda版本,需要的朋友可以參考下2023-11-11

