Python爬蟲中的并發(fā)編程詳解
并發(fā)編程在爬蟲中的應(yīng)用
本文將為大家介紹 Python 中的多線程、多進(jìn)程和異步編程,并且以爬取“360圖片”網(wǎng)站的圖片并保存到本地為例,為大家分別展示使用單線程、多線程和異步 I/O 編程的爬蟲程序有什么區(qū)別,同時也對它們的執(zhí)行效率進(jìn)行簡單的對比。
什么是并發(fā)編程
并發(fā)編程是指在一個時間段內(nèi),能夠執(zhí)行多個操作的程序設(shè)計,通常表現(xiàn)為程序中有多個任務(wù)同時啟動,可以運行并且相互之間不會產(chǎn)生影響。并發(fā)編程的好處是可以提高程序的性能和響應(yīng)能力。
并發(fā)編程在爬蟲中的應(yīng)用
爬蟲程序是典型的 I/O 密集型任務(wù),對于 I/O 密集型任務(wù)來說,多線程和異步 I/O 都是很好的選擇,因為當(dāng)程序的某個部分因 I/O 操作阻塞時,程序的其他部分仍然可以運轉(zhuǎn),這樣我們不用在等待和阻塞中浪費大量的時間。
單線程版本
我們首先來看單線程版本的爬蟲程序。這個爬蟲程序使用了requests庫獲取 JSON 數(shù)據(jù),并通過open函數(shù)將圖片保存到本地。
"""
example04.py - 單線程版本爬蟲
"""
import os
import requests
def download_picture(url):
filename = url[url.rfind('/') + 1:]
resp = requests.get(url)
if resp.status_code == 200:
with open(f'images/beauty/{filename}', 'wb') as file:
file.write(resp.content)
def main():
if not os.path.exists('images/beauty'):
os.makedirs('images/beauty')
for page in range(3):
resp = requests.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
if resp.status_code == 200:
pic_dict_list = resp.json()['list']
for pic_dict in pic_dict_list:
download_picture(pic_dict['qhimg_url'])
if __name__ == '__main__':
main()在 macOS 或 Linux 系統(tǒng)上,我們可以使用time命令來了解上面代碼的執(zhí)行時間以及 CPU 的利用率,如下所示。
time python3 example04.py
下面是單線程爬蟲代碼在我的電腦上執(zhí)行的結(jié)果。
python3 example04.py 2.36s user 0.39s system 12% cpu 21.578 total
這里我們只需要關(guān)注代碼的總耗時為21.578秒,CPU 利用率為12%。
多線程版本
我們使用之前講到過的線程池技術(shù),將上面的代碼修改為多線程版本。
"""
example05.py - 多線程版本爬蟲
"""
import os
from concurrent.futures import ThreadPoolExecutor
import requests
def download_picture(url):
filename = url[url.rfind('/') + 1:]
resp = requests.get(url)
if resp.status_code == 200:
with open(f'images/beauty/{filename}', 'wb') as file:
file.write(resp.content)
def main():
if not os.path.exists('images/beauty'):
os.makedirs('images/beauty')
with ThreadPoolExecutor(max_workers=16) as pool:
for page in range(3):
resp = requests.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
if resp.status_code == 200:
pic_dict_list = resp.json()['list']
for pic_dict in pic_dict_list:
pool.submit(download_picture, pic_dict['qhimg_url'])
if __name__ == '__main__':
main()執(zhí)行如下所示的命令。
time python3 example05.py
代碼的執(zhí)行結(jié)果如下所示:
python3 example05.py 2.65s user 0.40s system 95% cpu 3.193 total
異步I/O版本
我們使用aiohttp將上面的代碼修改為異步 I/O 的版本。為了以異步 I/O 的方式實現(xiàn)網(wǎng)絡(luò)資源的獲取和寫文件操作,我們首先得安裝三方庫aiohttp和aiofile。
pip install aiohttp aiofile
下面是異步 I/O 版本的爬蟲代碼。
"""
example06.py - 異步I/O版本爬蟲
"""
import asyncio
import json
import os
import aiofile
import aiohttp
async def download_picture(session, url):
filename = url[url.rfind('/') + 1:]
async with session.get(url, ssl=False) as resp:
if resp.status == 200:
data = await resp.read()
async with aiofile.async_open(f'images/beauty/{filename}', 'wb') as file:
await file.write(data)
async def main():
if not os.path.exists('images/beauty'):
os.makedirs('images/beauty')
async with aiohttp.ClientSession() as session:
tasks = []
for page in range(3):
resp = await session.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
if resp.status == 200:
pic_dict_list = (await resp.json())['list']
for pic_dict in pic_dict_list:
tasks.append(asyncio.ensure_future(download_picture(session, pic_dict['qhimg_url'])))
await asyncio.gather(*tasks)
if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())執(zhí)行如下所示的命令。
time python3 example06.py
代碼的執(zhí)行結(jié)果如下所示:
python3 example06.py 0.92s user 0.27s system 290% cpu 0.420 total
相對于單線程版本的爬蟲程序,多線程版本和異步 I/O 版本的爬蟲程序在執(zhí)行上的時間上有了顯著的提升,而且異步 I/O 版本的爬蟲程序表現(xiàn)最佳。
總結(jié):通過對單線程版本、多線程版本和異步 I/O 版本的爬蟲程序的對比,我們可以看出在爬蟲程序中使用異步 I/O 可以更好地發(fā)揮程序的性能和響應(yīng)能力。因此,我們在實際的開發(fā)中應(yīng)該更加注重并發(fā)編程的應(yīng)用。
到此這篇關(guān)于Python爬蟲中的并發(fā)編程詳解的文章就介紹到這了,更多相關(guān)Python并發(fā)編程內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
教你如何用一行Python代碼實現(xiàn)GUI圖形界面
GUI(圖形用戶界面),顧名思義就是用圖形的方式,來顯示計算機(jī)操作的界面,更加方便且直觀。本文將用一行代碼實現(xiàn)GUI界面的制作,需要的可以參考一下2022-05-05
Tensorflow 利用tf.contrib.learn建立輸入函數(shù)的方法
這篇文章主要介紹了Tensorflow 利用tf.contrib.learn建立輸入函數(shù)的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
小結(jié)Python用fork來創(chuàng)建子進(jìn)程注意事項
今天看到別人的源代碼中有 fork 子進(jìn)程來操作數(shù)據(jù)。但是由于 fork 之后,沒有及時的退出,導(dǎo)致系統(tǒng)中的Python進(jìn)程越來越多,子進(jìn)程越來越多了。2014-07-07
Django中使用Json返回數(shù)據(jù)的實現(xiàn)方法
這篇文章主要介紹了Django中使用Json返回數(shù)據(jù)的實現(xiàn)方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06

