關(guān)于Python下載大文件時哪種方式速度更快
更新時間：2023年04月10日 10:18:05 作者：程序員老華
這篇文章主要介紹了關(guān)于Python下載大文件時哪種方式速度更快,通常，我們都會用 requests 庫去下載，這個庫用起來太方便了,需要的朋友可以參考下
方法一
使用以下流式代碼，無論下載文件的大小如何，Python 內(nèi)存占用都不會增加：
def download_file(url):
local_filename = url.split('/')[-1]
# 注意傳入?yún)?shù) stream=True
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
return local_filename如果你有對 chunk 編碼的需求，那就不該傳入 chunk_size 參數(shù)，且應(yīng)該有 if 判斷。
def download_file(url):
local_filename = url.split('/')[-1]
# 注意傳入?yún)?shù) stream=True
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(local_filename, 'w') as f:
for chunk in r.iter_content():
if chunk:
f.write(chunk.decode("utf-8"))
return local_filenameiter_content [1] 函數(shù)本身也可以解碼，只需要傳入?yún)?shù) decode_unicode = True 即可。
請注意，使用 iter_content 返回的字節(jié)數(shù)并不完全是 chunk_size，它是一個通常更大的隨機(jī)數(shù)，并且預(yù)計(jì)在每次迭代中都會有所不同。
方法二
使用 Response.raw 和 shutil.copyfileobj
import requests
import shutil
def download_file(url):
local_filename = url.split('/')[-1]
with requests.get(url, stream=True) as r:
with open(local_filename, 'wb') as f:
shutil.copyfileobj(r.raw, f)
return local_filename這將文件流式傳輸?shù)酱疟P而不使用過多的內(nèi)存，并且代碼更簡單。
注意：根據(jù)文檔，Response.raw 不會解碼，因此如果需要可以手動替換 r.raw.read 方法
response.raw.read = functools.partial(response.raw.read, decode_content=True)
速度
方法二更快。方法一如果 2-3 MB/s 的話，方法二可以達(dá)到近 40 MB/s。
到此這篇關(guān)于關(guān)于Python下載大文件時哪種方式速度更快的文章就介紹到這了,更多相關(guān)Python下載大文件方式內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python scrapy拆解查看Spider類爬取優(yōu)設(shè)網(wǎng)極細(xì)講解
本篇博客為你帶來 scrapy.Spider 模塊中的相關(guān)函數(shù)與類，帶你再一次認(rèn)識 scrapy 的細(xì)節(jié)。本次采集的目標(biāo)站點(diǎn)為：優(yōu)設(shè)網(wǎng)，有需要的朋友可以借鑒參考下2021-11-11
這篇文章主要介紹了Python模塊zipfile原理及使用方法詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
python 列表轉(zhuǎn)為字典的兩個小方法(小結(jié))
這篇文章主要介紹了python 列表轉(zhuǎn)為字典的兩個小方法(小結(jié))，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
這篇文章主要介紹了python逆向入門教程，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-01-01
本文主要介紹了python模塊引入問題和解決方案，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
python中關(guān)于CIFAR10數(shù)據(jù)集的使用
這篇文章主要介紹了python中關(guān)于CIFAR10數(shù)據(jù)集的使用方式，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
Python標(biāo)準(zhǔn)庫中的uuid模塊提供生成UUID的多種方法實(shí)現(xiàn),本文就來介紹一下Python內(nèi)置模塊UUID的具體使用,感興趣的可以了解一下2024-12-12
這篇文章主要介紹了Python生成不重復(fù)隨機(jī)值的方法,實(shí)例分析了Python算法實(shí)現(xiàn)與Python自帶方法的實(shí)現(xiàn)技巧,非常簡單實(shí)用,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了Python動態(tài)語言與鴨子類型詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了pyqt5 設(shè)置窗體透明控件不透明的操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03