python線程池的實現(xiàn)實例
直接上代碼：
# -*- coding: utf-8 -*-
import Queue
import threading
import urllib
import urllib2
import os
def down(url,n):
print 'item '+str(n)+' start '
filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
urllib.urlretrieve(url, filename)
print 'item '+str(n)+' finish '
def worker():
while True:
i = q.get()
url=i[0]
n=i[1]
down(url,n)
q.task_done()
if __name__=="__main__":
num_worker_threads=100
f=open('url.txt')
l=f.readlines()
q = Queue.Queue()
for i in range(num_worker_threads):
t = threading.Thread(target=worker)
t.daemon = True
t.start()
for i in range(0,len(l)):
q.put((l[i],i))
q.join()
相關(guān)文章
這篇文章主要介紹了Python實現(xiàn)簡單的代理服務(wù)器,可實現(xiàn)代理服務(wù)器基本的包轉(zhuǎn)發(fā)功能,具有一定參考借鑒價值,需要的朋友可以參考下2015-07-07
這篇文章主要給大家介紹了關(guān)于Python基本知識之datetime模塊的相關(guān)資料,Python內(nèi)置的時間模塊datetime包含下面的模塊包含六個類和兩個常數(shù),提供了用于處理日期和時間的類和對應(yīng)的方法,一般用于處理年、月、日、時、分、秒的統(tǒng)計和計算等需求,需要的朋友可以參考下2023-08-08
pycharm不在cmd中運行卻在python控制臺運行問題解決
這篇文章主要介紹了pycharm不在cmd中運行卻在python控制臺運行問題解決,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-08-08
這篇文章主要介紹了Python爬取個人微信朋友信息操作,涉及Python使用itchat包實現(xiàn)微信朋友信息爬取操作相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2018-08-08
Python區(qū)塊鏈范圍結(jié)論及Genesis Block的添加教程
這篇文章主要為大家介紹了Python區(qū)塊鏈范圍結(jié)論及Genesis Block的添加，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要介紹了python使用matplotlib繪制折線圖的示例代碼，幫助大家更好的利用matplotlib繪制圖形，感興趣的朋友可以了解下2020-09-09
關(guān)于tensorflow softmax函數(shù)用法解析
這篇文章主要介紹了關(guān)于tensorflow softmax函數(shù)用法解析，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
我們在使用爬蟲來抓取網(wǎng)頁內(nèi)容的時候，HTTP異常是必須要注意的一項，所以本文，我們來詳細探尋一下HTTP異常處理的相關(guān)內(nèi)容，通過一些具體的實例來分析一下，非常的簡單，但是卻很實用。2014-11-11
在Python編程中,經(jīng)常需要在字符串中插入變量或占位符來構(gòu)建動態(tài)的文本內(nèi)容,這篇文章主要為大家介紹了一些常見占位符的使用,需要的可以了解下2024-01-01
python pandas dataframe 按列或者按行合并的方法
下面小編就為大家分享一篇python pandas dataframe 按列或者按行合并的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04