我們在程序開發(fā)中,經(jīng)常會需要請求一些外部的接口資源,而且我們不能保證每次請求一定會成功,所以這些涉及到網(wǎng)絡(luò)請求的代碼片段就需要加上重試機制。下面來說一下Python中的重試方法。
循環(huán)加判斷
最簡單的重試方式就是在需要進行重試的代碼片段上加一個循環(huán),程序內(nèi)捕獲異常,如果執(zhí)行成功就退出循環(huán),執(zhí)行失敗就就重復(fù)執(zhí)行相關(guān)代碼,例如:
import requests
def req_with_retry(url):
retry_max = 10 # 最大重試次數(shù)為10次
for i in range(1, retry_max+1):
try:
print("第{}次請求".format(i))
# 這里請求不到會拋ConnectTimeout異常
res = requests.get(url, timeout=1)
data = res.json()
print("請求成功:", data)
break
except requests.exceptions.ConnectTimeout as e:
continue
# 請求一個不存在的網(wǎng)址
req_with_retry(https://www.hahaha.cn/haha)
執(zhí)行結(jié)果:
由于請求了一個不存在的網(wǎng)址,所以一直在重試,知道達到最大次數(shù)10次。但是這樣有一定的代碼侵入性,在業(yè)務(wù)邏輯上加入循環(huán)判斷顯得很不美觀,別著急,往下看,還有更好的方法。
retrying
retrying是Python的一個第三方庫,它提供一個裝飾器函數(shù)retry,被裝飾的業(yè)務(wù)函數(shù)就會在運行失敗的條件下重新執(zhí)行,默認(rèn)只要報錯就會一直重試,直至執(zhí)行成功。
可以使用pip install retrying
進行安裝。
例如下面一段代碼,我們使用生成隨機數(shù)的大小的方式模擬業(yè)務(wù)的成功與失敗,只要是生成的隨機數(shù)大于2,都視為失敗,就會重試,直到生成的隨機數(shù)小于2:
import random
from retrying import retry
@retry
def random_with_retry():
if random.randint(0, 10) > 2:
print("大于2,重試...")
raise Exception("大于2")
print("小于2,成功!")
random_with_retry()
運行結(jié)果如下:
retry還可以接受一些參數(shù),下面是源碼中Retrying類的初始化函數(shù)中可選的參數(shù):
- stop_max_attempt_number:最大重試次數(shù),超過該次數(shù)就停止重試
- stop_max_delay:最大延遲時間(執(zhí)行這個方法重試的總時間),超過該時間就停止
- wait_fixed:兩次retrying之間的等待時間
- wait_random_min和wait_random_max:用隨機的方式產(chǎn)生兩次retrying之間的等待時間
- wait_incrementing_start和wait_incrementing_increment:每調(diào)用一次增加固定時長
- wait_exponential_multiplier和wait_exponential_max:以指數(shù)的形式產(chǎn)生兩次retrying之間的等待時間,產(chǎn)生的值為2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已經(jīng)retry的次數(shù),如果產(chǎn)生的這個值超過了wait_exponential_max的大小,那么之后兩個retrying之間的停留值都為wait_exponential_max。
特別需要注意的是retry_on_exception參數(shù),它接收一個函數(shù),用法如下:
# 判斷異常
def is_MyError(exception):
print("判斷異常", exception)
print(isinstance(exception, (ValueError, IOError, ConnectionError)))
return isinstance(exception, (ValueError, IOError, ConnectionError))
@retry(retry_on_exception=is_MyError)
def random_with_retry():
"""
隨機一個0-10之前的整數(shù),大于2拋異常,小于2成功
:return:
"""
if random.randint(0, 10) > 2:
print("大于2,重試...")
raise ValueError("大于2")
print("小于2,成功!")
random_with_retry()
這里retry_on_exception參數(shù)的大體思想是:接收一個自定義函數(shù)is_MyError,在is_MyError函數(shù)里判斷了是不是屬于ValueError, IOError, ConnectionError這三種異常;random_with_retry()函數(shù)如果拋出了異常,會去函數(shù)is_MyError()判斷返回的是True還是False,如果是True則繼續(xù)重試,如果是False則立即停止并拋出異常。
還有retry_on_result參數(shù),也是接收一個函數(shù),判斷業(yè)務(wù)函數(shù)返回哪些結(jié)果時需要重試,思想和retry_on_exception參數(shù)類似。
我們可以根據(jù)自己的需要進行合理的搭配這些參數(shù),達到我們想要的效果。
到此這篇關(guān)于Python retrying 重試機制的使用方法的文章就介紹到這了,更多相關(guān)Python retrying 重試機制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- python爬蟲URL重試機制的實現(xiàn)方法(python2.7以及python3.5)