python批量讀取txt文件為DataFrame的方法
更新時間：2018年04月03日 10:38:04 作者：MUSK1881
下面小編就為大家分享一篇python批量讀取txt文件為DataFrame的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
我們有時候會批量處理同一個文件夾下的文件，并且希望讀取到一個文件里面便于我們計算操作。比方我有下圖一系列的txt文件，我該如何把它們寫入一個txt文件中并且讀取為DataFrame格式呢？
首先我們要用到glob模塊，這個python內(nèi)置的模塊可以說是非常的好用。
glob.glob('*.txt')
得到如下結果：
all.txt是我最后得到的結果文件。可以見返回的是一個包含txt文件名稱的列表，當然如果你的文件夾下面只有txt文件，那么你用os.listdir()可以得到一個一樣的列表
然后讀取的時候只要注意txt文件的編碼格式（可以用notepad++打開記事本查看）和間隔符的形式就好了，完整的代碼如下：
import os
import pandas
import codecs
import glob
import pandas as pd
os.getcwd()
os.chdir('D:\AAAASXQ\python study\data preprocessing')
def txtcombine()：
files = glob.glob('*.txt')
all = codecs.open('all.txt','a')
for filename in flist:
print(filename)
fopen=codecs.open(filename,'r',encoding='utf-8')
lines=[]
lines=fopen.readlines()
fopen.close()
i=0
for line in lines:
for x in line:
all.write(x)
#讀取為DataFrame格式
all1 = pd.read_csv('all.txt',sep=' ',encoding='GB2312')
#保存為csv格式
all1.to_csv('all.csv',encoding='GB2312')
if __name__ == '__main__':
txtcombine()
以上這篇python批量讀取txt文件為DataFrame的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了使用Dataframe.info()顯示空值與類型信息,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了在Django中使用MQTT的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-05-05
python3調(diào)用windows dos命令的例子
今天小編就為大家分享一篇python3調(diào)用windows dos命令的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
開源軟件包和環(huán)境管理系統(tǒng)Anaconda的安裝使用
Anaconda是一個用于科學計算的Python發(fā)行版，支持 Linux, Mac, Windows系統(tǒng)，提供了包管理與環(huán)境管理的功能，可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題。2017-09-09
python 列表,數(shù)組和矩陣sum的用法及區(qū)別介紹
今天小編就為大家分享一篇python 列表,數(shù)組和矩陣sum的用法及區(qū)別介紹，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了Python使用configparser庫讀取配置文件,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python隊列RabbitMQ 使用方法,結合實例形式分析了Python隊列RabbitMQ創(chuàng)建隊列發(fā)送消息與創(chuàng)建消費者消費信息相關操作技巧,需要的朋友可以參考下2019-08-08
Python3.5常見內(nèi)置方法參數(shù)用法實例詳解
這篇文章主要介紹了Python3.5常見內(nèi)置方法參數(shù)用法,結合實例形式詳細分析了Python常見的內(nèi)置方法及參數(shù)使用技巧,需要的朋友可以參考下2019-04-04
在網(wǎng)頁開發(fā)和數(shù)據(jù)抓取過程中,我們經(jīng)常需要從HTML頁面中提取信息,尤其是span元素中的文本,span標簽是一個行內(nèi)元素,通常用于包裝一小段文本或其他元素,在Python中,我們可以通過使用BeautifulSoup或lxml等庫來解析HTML并提取span標簽中的文本2024-12-12
本文給大家分享的是作者在centos下為Python安裝pillow的時候報錯的解決方法，希望對大家能夠有所幫助。2016-01-01