用Python讀取幾十萬行文本數(shù)據(jù)

更新時間：2018年12月24日 11:21:15 作者：accumulate_zhang

今天小編就為大家分享一篇關(guān)于用Python讀取幾十萬行文本數(shù)據(jù)，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧

我在使用python讀取幾十萬行的文件中的數(shù)據(jù)，并構(gòu)造字典，列表等數(shù)據(jù)結(jié)構(gòu)時，再訪問字典，列表時，一般都會出現(xiàn)內(nèi)存不夠的問題，然后只能循環(huán)讀取幾百行或者一定數(shù)量的行數(shù)來循環(huán)操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是這樣讀取的

應該還有很多好的方法，比如多線程等等。

做此記錄只為了學習

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

您可能感興趣的文章:

相關(guān)文章

使用python3.0?對接美團接口的實現(xiàn)示例
本文主要介紹了python3.0?對接美團接口的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2022-05-05
Numpy掩碼式數(shù)組詳解
下面小編就為大家分享一篇Numpy掩碼式數(shù)組詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-04-04
老生常談python之鴨子類和多態(tài)
下面小編就為大家?guī)硪黄仙Ｕ刾ython之鴨子類和多態(tài)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-06-06
Python圖片縮放cv2.resize()圖文詳解
這篇文章主要給大家介紹了關(guān)于Python圖片縮放cv2.resize()的相關(guān)資料, resize是opencv庫中的一個函數(shù),主要起到對圖片進行縮放的作用,文中通過代碼介紹的非常詳細,需要的朋友可以參考下
2023-10-10
python實現(xiàn)獲取電腦所連接的wifi密碼
電腦連接wifi后,很難直觀地看到當前連接wifi的密碼,需要借助命令行公管局才可以查看到相關(guān)信息,本文為大家介紹一下如何利用python獲取電腦所連接的wifi密碼,感興趣的可以了解下
2023-11-11
Python中類的mro與繼承關(guān)系詳解
這篇文章主要介紹了Python中類的mro與繼承關(guān)系，文章圍繞主題展開初步認識mro的解析順序，具有一定的參考價值。需要的朋友可以參考一下
2022-07-07
python函數(shù)超時自動退出的實操方法
在本篇文章里小編給大家整理的是一篇關(guān)于python函數(shù)超時自動退出的實操方法，有需要的朋友們可以學習下。
2020-12-12
pandas求兩個表格不相交的集合方法
今天小編就為大家分享一篇pandas求兩個表格不相交的集合方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
Python實現(xiàn)封裝打包自己寫的代碼,被python import
這篇文章主要介紹了Python實現(xiàn)封裝打包自己寫的代碼,被python import，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-07-07
pyTorch深度學習softmax實現(xiàn)解析
這篇文章主要介紹了pytorch深度學習中對softmax實現(xiàn)進行了詳細解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步
2021-09-09