用python記錄運(yùn)行pid,并在需要時(shí)kill掉它們的實(shí)例
我在跑爬蟲程序的時(shí)候，由于爬蟲程序的等待目標(biāo)服務(wù)器返回?cái)?shù)據(jù)的時(shí)間很長(zhǎng)，而cpu占用很低，所以經(jīng)常掛著代理一跑就跑好幾百個(gè)。但是爬蟲程序通常是寫了死循環(huán)，或直到分配給該進(jìn)程的任務(wù)都跑完才退出的。如果我們想中途結(jié)束掉這些任務(wù)，是沒辦法手工一個(gè)一個(gè)kill掉的。那么該如何結(jié)束這些進(jìn)程呢？
我的方法就是在運(yùn)行爬蟲進(jìn)程時(shí)，記錄該進(jìn)程的Pid，然后在需要手動(dòng)結(jié)束時(shí)，再用語(yǔ)句kill掉它們。
for i in {1..100}
do
nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
sleep 10
done
上述語(yǔ)句完成了將腳本在后臺(tái)運(yùn)行100便，并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫命令。do…done之間是被循環(huán)的語(yǔ)句。
接下來(lái)就是kill掉它們的語(yǔ)句了，我用的python
import os
if __name__ == '__main__':
fin = open('run.pid', 'r')
pids = []
for line in fin:
pids.append(line.strip())
for pid in pids:
cmd = 'kill ' + pid
os.system(cmd)
這樣就把記錄下來(lái)的pid全部kill掉了。
但需要注意的一點(diǎn)時(shí)，如果在任務(wù)運(yùn)行期間，有的進(jìn)程由于完成任務(wù)或者出錯(cuò)而退出。其他的程序可能會(huì)share這些進(jìn)程的Pid,這樣如果在運(yùn)行kill腳本的時(shí)候，可能附帶就把這些進(jìn)程也給Kill掉了，造成不必要的麻煩。
以上這篇用python記錄運(yùn)行pid,并在需要時(shí)kill掉它們的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
今天小編就為大家分享一篇Python求正態(tài)分布曲線下面積實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
Python中的數(shù)據(jù)可視化matplotlib與繪圖庫(kù)模塊
這篇文章介紹了Python中的數(shù)據(jù)可視化matplotlib與繪圖庫(kù)模塊，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-05-05
這篇文章主要介紹了pycharm如何為函數(shù)插入文檔注釋，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-02-02
關(guān)于pandas.DataFrame的類SQL操作
這篇文章主要介紹了關(guān)于pandas.DataFrame的類SQL操作方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,2023-08-08
大家好，本篇文章主要講的是Python中安裝庫(kù)的常用方法介紹，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
這篇文章主要為大家介紹了python從gbff文件中直接提取cds序列示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
Python and、or以及and-or語(yǔ)法總結(jié)
這篇文章主要介紹了Python and、or以及and-or語(yǔ)法總結(jié),本文分別給出實(shí)例講解它們的使用方法,需要的朋友可以參考下2015-04-04
python 對(duì)任意數(shù)據(jù)和曲線進(jìn)行擬合并求出函數(shù)表達(dá)式的三種解決方案
這篇文章主要介紹了python 對(duì)任意數(shù)據(jù)和曲線進(jìn)行擬合并求出函數(shù)表達(dá)式的三種解決方案,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
字符串是python中最常見的數(shù)據(jù)類型,創(chuàng)建字符串只需用引號(hào)括起來(lái)分配給一個(gè)變量即可,這篇文章主要給大家介紹了關(guān)于Python字符串的基本操作方法的相關(guān)資料,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-11-11
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)煙花小程序，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-01-01