python設(shè)置檢查點(diǎn)簡(jiǎn)單實(shí)現(xiàn)代碼
說(shuō)檢查點(diǎn),其實(shí)就是對(duì)過(guò)去歷史的記錄,可以認(rèn)為是log.不過(guò)這里進(jìn)行了簡(jiǎn)化.舉例來(lái)說(shuō),我現(xiàn)在又一段文本.文本里放有一堆堆的鏈接地址.我現(xiàn)在的任務(wù)是下載那些地址中的內(nèi)容.另外因?yàn)榫W(wǎng)絡(luò)的問(wèn)題或者網(wǎng)站的問(wèn)題,每次下載可能不會(huì)非常的成功.有可能出現(xiàn)斷鏈或者socket異常錯(cuò)誤。不過(guò)不管產(chǎn)生什么樣的錯(cuò)誤,我都希望我的程序能夠一直跑下去?;蛘吣芡5艉螅^續(xù)從為下載的鏈接處跑。而不是從開(kāi)始的地方跑。這個(gè)問(wèn)題非常簡(jiǎn)單。因?yàn)檫@些鏈接是上下文無(wú)關(guān)的(上下文有關(guān)的情況要另外分析)。所以我只要記錄程序運(yùn)行停止前的最后一條,就有希望能夠延續(xù)前面的工作。這里實(shí)現(xiàn)中使用的是記錄原有的鏈接,大家也可以使用計(jì)數(shù)器的方法來(lái)記錄。代碼如下:
# 這個(gè)異常是原文本內(nèi)容中未出現(xiàn)檢查點(diǎn)內(nèi)容出現(xiàn)造成的
class CheckPointMissContentError:
pass
# 將文件讀取指針fd移至到檢查點(diǎn)對(duì)應(yīng)的內(nèi)容處
# check point 的規(guī)則為,讀取文件一行或者多行,進(jìn)行操作后,將此一行或多行送入
# 檢查文件check_point中。以后再次運(yùn)行程序,即可從該檢查點(diǎn)處繼續(xù)運(yùn)行。
def GoCheckPoint(fd,check_point):
if not os.path.isfile(check_point):
f_check = open(check_point,'w')
f_check.close()
f_check = open(check_point,'r')
lines = f_check.readlines()
if len(lines) > 0:
check_content = lines[-1] #找到檢查點(diǎn)最后一行
check_content = check_content.strip(' /n/r')
# go to check point
while True:
content = fd.readline()
if content == '': # eof
raise CheckPointMissContentError
if content.strip(' /n/r') == check_content:
break
f_check.close()#關(guān)閉檢查點(diǎn)
有了上面一段還是不夠的,需要下面的代碼補(bǔ)充:
# 偽代碼
def Download(downloadlist,sleep_time):
if os.path.isfile(downloadlist):
f = open(downloadlist)
# check_point file name,這里為自動(dòng)生成一個(gè)檢查點(diǎn)文件
check_point = file[0:file.rfind('.')]+'_check.txt'
Util.GoCheckPoint(f,check_point) #這就是上面代碼中的GoCheckPoint函數(shù)
f_check = open(check_point,'a')# 以追加方式寫(xiě)入
try:
while True:
content = f.readline()
if content == '': # eof
break
content = content.strip(' /n/r')
if content != '':
# has download url
time.sleep(sleep_time)
DownloadOper(path,url) #這里是偽代碼..可以認(rèn)為是urllib.request.retrieve()函數(shù)或者是urllib.request.urlopen()啥的
# 作為響應(yīng)的操作后再將內(nèi)容寫(xiě)入檢查點(diǎn)文件
f_check.write(content+'/n')
f_check.flush() # 必須的,否則會(huì)緩存,不會(huì)寫(xiě)入硬盤(pán)中
except : # 蹦個(gè)異常也不怕,以后再次按F5執(zhí)行即可
raise Exception()
return Util.FAILURE # 這是我設(shè)置的常量,大家認(rèn)為是0或者1就可以了
finally:
f.close()
f_check.close()# 關(guān)閉文件
print('Downloading is done........................')
return Util.SUCCESS
執(zhí)行完操作之后再寫(xiě)入到檢查點(diǎn)文件中。以后程序掛掉,只要檢查點(diǎn)文件還在,就可以延續(xù)前面的工作。不過(guò)這里的檢查點(diǎn)相對(duì)于數(shù)據(jù)庫(kù)中事務(wù)處理的檢查點(diǎn)還是太簡(jiǎn)單了點(diǎn)。
相關(guān)文章
Python腳本提取fasta文件單序列信息實(shí)現(xiàn)
這篇文章主要為大家介紹了Python腳本提取fasta文件單序列信息實(shí)現(xiàn)示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-07-07
python使用 cx_Oracle 模塊進(jìn)行查詢(xún)操作示例
這篇文章主要介紹了python使用 cx_Oracle 模塊進(jìn)行查詢(xún)操作,結(jié)合實(shí)例形式分析了Python使用cx_Oracle模塊進(jìn)行數(shù)據(jù)庫(kù)的基本連接、查詢(xún)、輸出等相關(guān)操作技巧,需要的朋友可以參考下2019-11-11
python中的內(nèi)置函數(shù)max()和min()及mas()函數(shù)的高級(jí)用法
這篇文章主要介紹了python中的內(nèi)置函數(shù)max()和min()的相關(guān)知識(shí)及python中內(nèi)置函數(shù)max()的高級(jí)用法,需要的朋友可以參考下2018-03-03
Pandas如何對(duì)帶有Multi-column(多列名稱(chēng))的數(shù)據(jù)排序并寫(xiě)入Excel中
這篇文章主要介紹了Pandas如何對(duì)帶有Multi-column(多列名稱(chēng))的數(shù)據(jù)排序并寫(xiě)入Excel中問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
pymssql ntext字段調(diào)用問(wèn)題解決方法
pymssql是python用來(lái)連接mssql數(shù)據(jù)庫(kù)的一個(gè)類(lèi)庫(kù)。該庫(kù)遵守Python DB API 2.0 標(biāo)準(zhǔn),并且還附帶了一個(gè)原生的低階數(shù)據(jù)訪問(wèn)模塊。2008-12-12
Python實(shí)現(xiàn)PING命令的示例代碼
本文主要介紹了Python實(shí)現(xiàn)PING命令的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01

