pandas讀取excel,txt,csv,pkl文件等命令的操作

更新時(shí)間：2021年03月27日 09:27:05 作者：zanlinux

這篇文章主要介紹了pandas讀取excel,txt,csv,pkl文件等命令的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

pandas讀取txt文件

讀取txt文件需要確定txt文件是否符合基本的格式，也就是是否存在\t,,,等特殊的分隔符

一般txt文件長(zhǎng)成這個(gè)樣子

txt文件舉例

下面的文件為空格間隔

1 2019-03-22 00:06:24.4463094 中文測(cè)試 
2 2019-03-22 00:06:32.4565680 需要編輯encoding 
3 2019-03-22 00:06:32.6835965 ashshsh 
4 2017-03-22 00:06:32.8041945 eggg

讀取命令采用 read_csv或者 read_table都可以

import pandas as pd
df = pd.read_table("./test.txt")
print(df)
 
import pandas as pd
df = pd.read_csv("./test.txt")
print(df)

但是，注意，這個(gè)地方讀取出來(lái)的數(shù)據(jù)內(nèi)容為3行1列的DataFrame類型，并沒有按照我們的要求得到3行4列

import pandas as pd
df = pd.read_csv("./test.txt")
print(type(df))
print(df.shape)
 
<class 'pandas.core.frame.DataFrame'>
(3, 1)

read_csv函數(shù)

默認(rèn): 從文件、URL、文件新對(duì)象中加載帶有分隔符的數(shù)據(jù)，默認(rèn)分隔符是逗號(hào)。

上述txt文檔并沒有逗號(hào)分隔，所以在讀取的時(shí)候需要增加sep分隔符參數(shù)

df = pd.read_csv("./test.txt",sep=' ')

read_pickle函數(shù)

read_pickle is only guaranteed to be backwards compatible to pandas 0.20.3.

Examples

>>> original_df = pd.DataFrame({"foo": range(5), "bar": range(5, 10)})
>>> original_df
 foo bar
0 0 5
1 1 6
2 2 7
3 3 8
4 4 9
>>> pd.to_pickle(original_df, "./dummy.pkl")

>>> unpickled_df = pd.read_pickle("./dummy.pkl")
>>> unpickled_df
 foo bar
0 0 5
1 1 6
2 2 7
3 3 8
4 4 9

>>> import os
>>> os.remove("./dummy.pkl")

補(bǔ)充：線上部署模型讀取pkl文件跟excel

先把生成的excel文件（pkl文件）準(zhǔn)備好，放到本地測(cè)試的路徑下

import platform
import pandas as pd
if platform.system() == 'Windows':
 home_dir = r'F:\python_項(xiàng)目\主后臺(tái)\r360_taobao\moxin' #本地地址
else:
 home_dir = r'/home/TG_MASTER_ADMIN_API/r360_taobao/moxin' #線上的路徑找到文件前一個(gè)文件夾
def testMx():
 box = pd.read_excel(home_dir+'/規(guī)則新版設(shè)計(jì)1.xlsx', sheet_name='宜信標(biāo)準(zhǔn)評(píng)分卡')
 print("excel\t\t",box)
 box = pd.read_pickle(home_dir + '/foo.pkl')
 print("pkl\t\t",box)
if __name__ == '__main__':
 testMx()