通過Pandas讀取大文件的實(shí)例
當(dāng)數(shù)據(jù)文件過大時(shí)，由于計(jì)算機(jī)內(nèi)存有限，需要對(duì)大文件進(jìn)行分塊讀?。?/strong>
import pandas as pd
f = open('E:/學(xué)習(xí)相關(guān)/Python/數(shù)據(jù)樣例/用戶側(cè)數(shù)據(jù)/test數(shù)據(jù).csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
read_csv()函數(shù)的iterator參數(shù)等于True時(shí)，表示返回一個(gè)TextParser以便逐塊讀取文件；
chunkSize表示文件塊的大小，用于迭代；
TextParser類的get_chunk方法用于讀取任意大小的文件塊；
StopIteration的異常表示在循環(huán)對(duì)象窮盡所有元素時(shí)報(bào)錯(cuò)；
concat()函數(shù)用于將數(shù)據(jù)做軸向連接：
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用參數(shù)：
objs：Series,DataFrame或者是Panel構(gòu)成的序列l(wèi)ist;
axis：需要合并連接的軸，0是行，1是列；
join：連接的參數(shù)，inner或outer；
ignore=True表示重建索引。
以上這篇通過Pandas讀取大文件的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python深度學(xué)習(xí)pyTorch權(quán)重衰減與L2范數(shù)正則化解析
這篇文章主要介紹了Python深度學(xué)習(xí)中的pyTorch權(quán)重衰減與L2范數(shù)正則化的詳細(xì)解析，文中附含詳細(xì)示例代碼，有需要的朋友可以借鑒參考下2021-09-09
這篇文章主要介紹了python讀取word文檔的方法,實(shí)例分析了Python基于win32com操作word文檔的相關(guān)技巧,需要的朋友可以參考下2015-05-05
pandas 對(duì)每一列數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的方法
今天小編就為大家分享一篇pandas 對(duì)每一列數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-06-06
能讓你輕松的實(shí)現(xiàn)自然語言處理的5個(gè)Python庫
今天教大家如何你輕松的實(shí)現(xiàn)自然語言預(yù)處理,僅僅需要5個(gè)python庫,文中介紹的非常詳細(xì),對(duì)正在學(xué)習(xí)python的小伙伴們有很好的幫助,需要的朋友可以參考下2021-05-05
python抓取網(wǎng)頁內(nèi)容并進(jìn)行語音播報(bào)的方法
今天小編就為大家分享一篇python抓取網(wǎng)頁內(nèi)容并進(jìn)行語音播報(bào)的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-12-12
Python數(shù)據(jù)分析之?Pandas?Dataframe合并和去重操作
這篇文章主要介紹了Python數(shù)據(jù)分析之?Pandas?Dataframe合并和去重操作，文章基于python的相關(guān)資料展開詳細(xì)的內(nèi)容介紹，需要的小伙伴可以參考一下2022-05-05
Python爬蟲之Selenium多窗口切換的實(shí)現(xiàn)
這篇文章主要介紹了Python爬蟲之Selenium多窗口切換的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
tensorflow 20:搭網(wǎng)絡(luò),導(dǎo)出模型,運(yùn)行模型的實(shí)例
這篇文章主要介紹了tensorflow 20:搭網(wǎng)絡(luò),導(dǎo)出模型,運(yùn)行模型的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05
Python3中在Anaconda環(huán)境下安裝basemap包
今天小編就為大家分享一篇關(guān)于Python3中在Anaconda環(huán)境下安裝basemap包的文章，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2018-10-10
Pytorch框架構(gòu)建ResNet模型的實(shí)現(xiàn)示例
本文主要介紹了Pytorch框架構(gòu)建ResNet模型的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-06-06