python pandas中DataFrame類型數(shù)據(jù)操作函數(shù)的方法
python數(shù)據(jù)分析工具pandas中DataFrame和Series作為主要的數(shù)據(jù)結(jié)構(gòu).
本文主要是介紹如何對DataFrame數(shù)據(jù)進(jìn)行操作并結(jié)合一個(gè)實(shí)例測試操作函數(shù)。
1）查看DataFrame數(shù)據(jù)及屬性
df_obj = DataFrame() #創(chuàng)建DataFrame對象 df_obj.dtypes #查看各行的數(shù)據(jù)格式 df_obj['列名'].astype(int)#轉(zhuǎn)換某列的數(shù)據(jù)類型 df_obj.head() #查看前幾行的數(shù)據(jù),默認(rèn)前5行 df_obj.tail() #查看后幾行的數(shù)據(jù),默認(rèn)后5行 df_obj.index #查看索引 df_obj.columns #查看列名 df_obj.values #查看數(shù)據(jù)值 df_obj.describe() #描述性統(tǒng)計(jì) df_obj.T #轉(zhuǎn)置 df_obj.sort_values(by=['',''])#同上
2）使用DataFrame選擇數(shù)據(jù):
df_obj.ix[1:3] #獲取1-3行的數(shù)據(jù),該操作叫切片操作,獲取行數(shù)據(jù) df_obj.ix[columns_index] #獲取列的數(shù)據(jù) df_obj.ix[1:3，[1,3]]#獲取1列3列的1~3行數(shù)據(jù) df_obj[columns].drop_duplicates() #剔除重復(fù)行數(shù)據(jù)
3）使用DataFrame重置數(shù)據(jù):
df_obj.ix[1:3，[1,3]]=1#所選位置數(shù)據(jù)替換為1
4）使用DataFrame篩選數(shù)據(jù)(類似SQL中的WHERE):
alist = ['023-18996609823'] df_obj['用戶號碼'].isin(alist) #將要過濾的數(shù)據(jù)放入字典中,使用isin對數(shù)據(jù)進(jìn)行篩選,返回行索引以及每行篩選的結(jié)果,若匹配則返回ture df_obj[df_obj['用戶號碼'].isin(alist)] #獲取匹配結(jié)果為ture的行
5）使用DataFrame模糊篩選數(shù)據(jù)(類似SQL中的LIKE):
df_obj[df_obj['套餐'].str.contains(r'.*?語音CDMA.*')] #使用正則表達(dá)式進(jìn)行模糊匹配,*匹配0或無限次,?匹配0或1次
6）使用DataFrame進(jìn)行數(shù)據(jù)轉(zhuǎn)換(后期補(bǔ)充說明)
df_obj['支局_維護(hù)線'] = df_obj['支局_維護(hù)線'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正則表達(dá)式
可以設(shè)置take_last=ture 保留最后一個(gè),或保留開始一個(gè).補(bǔ)充說明:注意take_last=ture已過時(shí),請使用keep='last'
7）使用pandas中讀取數(shù)據(jù):
read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先輸入csv文本地址,然后分割符選擇等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#寫入讀取excel數(shù)據(jù)，pd.read_excel讀取的數(shù)據(jù)是以DataFrame形式存儲(chǔ)
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#寫入讀取HDF5數(shù)據(jù)
8）使用pandas聚合數(shù)據(jù)(類似SQL中的GROUP BY 或HAVING):
data_obj['用戶標(biāo)識'].groupby(data_obj['支局_維護(hù)線'])
data_obj.groupby('支局_維護(hù)線')['用戶標(biāo)識'] #上面的簡單寫法
adsl_obj.groupby('支局_維護(hù)線')['用戶標(biāo)識'].agg([('ADSL','count')])#按支局進(jìn)行匯總對用戶標(biāo)識進(jìn)行計(jì)數(shù),并將計(jì)數(shù)列的列名命名為ADSL
9）使用pandas合并數(shù)據(jù)集(類似SQL中的JOIN):
merge(mxj_obj2, mxj_obj1 ,on='用戶標(biāo)識',how='inner')# mxj_obj1和mxj_obj2將用戶標(biāo)識當(dāng)成重疊列的鍵合并兩個(gè)數(shù)據(jù)集,inner表示取兩個(gè)數(shù)據(jù)集的交集.
10）清理數(shù)據(jù)
df[df.isnull()]
df[df.notnull()]
df.dropna()#將所有含有nan項(xiàng)的row刪除
df.dropna(axis=1,thresh=3) #將在列的方向上三個(gè)為NaN的項(xiàng)刪除
df.dropna(how='ALL')#將全部項(xiàng)都是nan的row刪除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #對第一列nan值賦0，第二列賦值0.5
df.fillna(method='ffill') #在列方向上以前一個(gè)值作為值賦給NaN
實(shí)例
1. 讀取excel數(shù)據(jù)
代碼如下
import pandas as pd# 讀取高爐數(shù)據(jù)，注意文件名不能為中文
data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])
print data
測試結(jié)果如下
燃料比 頂溫西南 頂溫西北 頂溫東南 頂溫東北 0 531.46 185 176 176 174 1 510.35 184 173 184 188 2 533.49 180 165 182 177 3 511.51 190 172 179 188 4 531.02 180 167 173 180 5 511.24 174 164 178 176 6 532.62 173 170 168 179 7 583.00 182 175 176 173 8 530.70 158 149 159 156 9 530.32 168 156 169 171 10 528.62 164 150 171 169
2. 切片處理，選取行或列，修改數(shù)據(jù)
代碼如下：
data_1row=data.ix[1] data_5row_2col=data.ix[0:5,[u'燃料比',u'頂溫西南'] print data_1row,data_5row_2col data_5row_2col.ix[0:1,0:2]=3
測試結(jié)果如下：
燃料比 510.35 頂溫西南 184.00 頂溫西北 173.00 頂溫東南 184.00 頂溫東北 188.00 Name: 1, dtype: float64 燃料比 頂溫西南 0 531.46 185 1 510.35 184 2 533.49 180 3 511.51 190 4 531.02 180 5 511.24 174 燃料比 頂溫西南 0 3.00 3 1 3.00 3 2 533.49 180 3 511.51 190 4 531.02 180 5 511.24 174
格式說明，data_5row_2col.ix[0:1,0:2]，data_5row_2col.ix[0:1,[0,2]],選取部分行和列需加”[]”
3. 排序
代碼如下：
print data_1row.sort_values() print data_5row_2col.sort_values(by=u'燃料比')
測試結(jié)果如下：
頂溫西北 173.00 頂溫西南 184.00 頂溫東南 184.00 頂溫東北 188.00 燃料比 510.35 Name: 1, dtype: float64 燃料比 頂溫西南 1 510.35 184 5 511.24 174 3 511.51 190 4 531.02 180 0 531.46 185 2 533.49 180
4. 刪除重復(fù)的行
代碼如下：
print data_5row_2col[u'頂溫西南'].drop_duplicates()#剔除重復(fù)行數(shù)據(jù)
測試結(jié)果如下：
0 185 1 184 2 180 3 190 5 174 Name: 頂溫西南, dtype: int64
說明：從測試結(jié)果3中可以看出頂溫西南index=2的數(shù)據(jù)與index=4的數(shù)據(jù)重復(fù)，測試結(jié)果4顯示將index=4的頂溫西南數(shù)據(jù)刪除
以上這篇python pandas中DataFrame類型數(shù)據(jù)操作函數(shù)的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python定時(shí)檢測無響應(yīng)進(jìn)程并重啟的實(shí)例代碼
這篇文章主要介紹了python定時(shí)檢測無響應(yīng)進(jìn)程并重啟的實(shí)例代碼，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-04-04
這篇文章主要介紹了pycharm xpath路徑出錯(cuò)的問題及解決方案,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05
深度解析Django REST Framework 批量操作
這篇文章主要介紹了深度解析Django REST Framework批量操作，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
Python中對數(shù)組集進(jìn)行按行打亂shuffle的方法
今天小編就為大家分享一篇Python中對數(shù)組集進(jìn)行按行打亂shuffle的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
Python中列表list以及l(fā)ist與數(shù)組array的相互轉(zhuǎn)換實(shí)現(xiàn)方法
這篇文章主要介紹了Python中l(wèi)ist以及l(fā)ist與array的相互轉(zhuǎn)換實(shí)現(xiàn)方法,簡單分析了Python中l(wèi)ist的功能、使用方法及l(fā)ist與array相互轉(zhuǎn)換實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-09-09
這篇文章主要介紹了Python之plt.bar繪制柱狀圖參數(shù),具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
django文檔學(xué)習(xí)之a(chǎn)pplications使用詳解
這篇文章主要介紹了Python文檔學(xué)習(xí)之a(chǎn)pplications使用詳解，分享了相關(guān)代碼示例，小編覺得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-01-01
Python批量生成Excel案例數(shù)據(jù)集的方法詳解
在數(shù)據(jù)分析的世界里,數(shù)據(jù)是核心,而如何高效地生成和處理數(shù)據(jù)則成為每位數(shù)據(jù)分析師必備的技能之一,今天,我們要探討一個(gè)有趣的話題——“造數(shù)”,所以本文給大家介紹了Python辦公自動(dòng)化,批量生成Excel案例數(shù)據(jù)集,需要的朋友可以參考下2024-12-12
使用PyTorch實(shí)現(xiàn)去噪擴(kuò)散模型的完整代碼
在本文中,我們將深入研究DDPM的復(fù)雜性,涵蓋其訓(xùn)練過程,包括正向和逆向過程,并探索如何執(zhí)行采樣,在整個(gè)探索過程中,我們將使用PyTorch從頭開始構(gòu)建DDPM,并完成其完整的訓(xùn)練,需要的朋友可以參考下2024-01-01
python中opencv與PIL圖片讀取保存及相互轉(zhuǎn)化方式
這篇文章主要介紹了python中opencv與PIL圖片讀取保存及相互轉(zhuǎn)化方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09