強(qiáng)悍的Python讀取大文件的解決方案
Python 環(huán)境下文件的讀取問題，請參見拙文 Python基礎(chǔ)之文件讀取的講解
這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規(guī)模的文件時的區(qū)別，也即哪些接口不適合讀取大文件。
1. read() 接口的問題
f = open(filename, 'rb') f.read()
我們來讀取 1 個 nginx 的日至文件，規(guī)模為 3Gb 大小。read() 方法執(zhí)行的操作，是一次性全部讀入內(nèi)存，顯然會造成：
MemoryError
...
也即會發(fā)生內(nèi)存溢出。
2. 解決方案：轉(zhuǎn)換接口
- （1）readlines() ：讀取全部的行，構(gòu)成一個 list，實踐表明還是會造成內(nèi)存的問題；
for line in f.reanlines(): ...
- （2）readline()：每次讀取一行，
while True:
line = f.readline()
if not line:
break
- （3）read(1024)：重載，指定每次讀取的長度
while True:
block = f.read(1024)
if not block:
break
3. 真正 Pythonic 的方法
真正 Pythonci 的方法，使用 with 結(jié)構(gòu)：
with open(filename, 'rb') as f:
for line in f:
<do something with the line>
對可迭代對象 f，進(jìn)行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內(nèi)存管理，而不必?fù)?dān)心任何大文件的問題。
There should be one – and preferably only one – obvious way to do it.
Reference
How to read large file, line by line in python
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接
相關(guān)文章
在Django項目中添加自定義模塊或應(yīng)用來封裝雪花算法,步驟包括創(chuàng)建應(yīng)用,編寫算法實現(xiàn)代碼至utils.py文件,及配置settings.py,此方法可方便在項目中隨處調(diào)用雪花算法,適用于需要唯一ID生成的場景2024-09-09
Python使用PyQt快速搭建桌面應(yīng)用的完整指南
在Python生態(tài)中,PyQt憑借其跨平臺特性、豐富的控件庫和成熟的開發(fā)模式,成為桌面應(yīng)用開發(fā)的首選框架之一,本文將以實戰(zhàn)為導(dǎo)向,通過具體案例拆解開發(fā)流程,幫助開發(fā)者快速掌握PyQt的核心技巧2025-09-09
這篇文章主要介紹了Python configparser模塊配置文件過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python pymongo模塊常用操作,結(jié)合實例形式分析了pymongo模塊的導(dǎo)入、連接MongoDB數(shù)據(jù)以及插入、更新、刪除、查詢等操作相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2018-09-09
對django 模型 unique together的示例講解
今天小編就為大家分享一篇對django 模型 unique together的示例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
使用Python實現(xiàn)一個本地視頻流媒體服務(wù)器
你是否曾經(jīng)想過在本地網(wǎng)絡(luò)上輕松地將電腦上的視頻分享給手機(jī)或平板電腦觀看？也許你下載了一部電影,想在客廳的智能電視上播放,卻不想費(fèi)力地拷貝文件,今天,小編將給大家介紹如何使用Python構(gòu)建一個簡單的本地視頻流媒體服務(wù)器,需要的朋友可以參考下2025-04-04
Python中的枚舉函數(shù)enumerate()的具體用法
本文主要介紹了Python中的枚舉函數(shù)enumerate()的具體用法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
這篇文章主要介紹了Python3爬蟲學(xué)習(xí)入門,簡單介紹了Python3爬蟲的功能、原理及使用爬蟲爬取知乎首頁相關(guān)操作技巧,需要的朋友可以參考下2018-12-12
python自帶的scatter函數(shù)參數(shù)中顏色和大小可以輸入列表進(jìn)行控制,即可以讓不同的點有不同的顏色和大小,下面這篇文章主要給大家介紹了關(guān)于Python中scatter散點圖及顏色整理大全的相關(guān)資料,需要的朋友可以參考下2023-05-05
K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實現(xiàn)
這篇文章主要介紹了K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實現(xiàn)，幫助大家更好的利用python實現(xiàn)機(jī)器學(xué)習(xí)，感興趣的朋友可以了解下2021-01-01