pandas刪除部分?jǐn)?shù)據(jù)后重新生成索引的實(shí)現(xiàn)
pandas刪除部分?jǐn)?shù)據(jù)后重新索引
在使用pandas時(shí)，由于隔行讀取刪除了部分?jǐn)?shù)據(jù)，導(dǎo)致刪除數(shù)據(jù)后的索引不連續(xù)：
原數(shù)據(jù)
刪除部分?jǐn)?shù)據(jù)后
在綁定pyqt的tableview時(shí)需進(jìn)行格式化，結(jié)果出現(xiàn)報(bào)錯(cuò)：
主要原因是索引值不連續(xù)，所以無法格式化，需對刪除數(shù)據(jù)后的數(shù)據(jù)集進(jìn)行重新索引，在格式化數(shù)據(jù)集之前加一句代碼：
new_biao = biao.reset_index(drop=True)
順利通過了編碼并顯示到tableview，問題解決。
附件：網(wǎng)上查到的格式化用的編碼
class PandasModel(QtCore.QAbstractTableModel):
"""
Class to populate a table view with a pandas dataframe
"""
def __init__(self, data, parent=None):
QtCore.QAbstractTableModel.__init__(self, parent)
self._data = data
def rowCount(self, parent=None):
return len(self._data.values)
def columnCount(self, parent=None):
return self._data.columns.size
def data(self, index, role=QtCore.Qt.DisplayRole):
if index.isValid():
if role == QtCore.Qt.DisplayRole:
return str(self._data.values[index.row()][index.column()])
return None
def headerData(self, col, orientation, role):
if orientation == QtCore.Qt.Horizontal and role == QtCore.Qt.DisplayRole:
return self._data.columns[col]
return None使用：
model = PandasModel(your_pandas_data_frame) your_tableview.setModel(model)
pandas常用的index索引設(shè)置
1.讀取時(shí)指定索引列
很多情況下，我們的數(shù)據(jù)源是 CSV 文件。假設(shè)有一個(gè)名為的文件data.csv，包含以下數(shù)據(jù)。
date,temperature,humidity 07/01/21,95,50 07/02/21,94,55 07/03/21,94,56
默認(rèn)情況下，pandas將會創(chuàng)建一個(gè)從0開始的索引行，如下：
>>> pd.read_csv("data.csv", parse_dates=["date"])
date temperature humidity
0 2021-07-01 95 50
1 2021-07-02 94 55
2 2021-07-03 94 56但是，我們可以在導(dǎo)入過程中通過將index_col參數(shù)設(shè)置為某一列可以直接指定索引列。
>>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date")
temperature humidity
date
2021-07-01 95 50
2021-07-02 94 55
2021-07-03 94 562. 使用現(xiàn)有的 DataFrame 設(shè)置索引
當(dāng)然，如果已經(jīng)讀取數(shù)據(jù)或做完一些數(shù)據(jù)處理步驟后，我們可以通過set_index手動設(shè)置索引。
>>> df = pd.read_csv("data.csv", parse_dates=["date"])
>>> df.set_index("date")
temperature humidity
date
2021-07-01 95 50
2021-07-02 94 55
2021-07-03 94 56這里有兩點(diǎn)需要注意下。
1.set_index方法默認(rèn)將創(chuàng)建一個(gè)新的 DataFrame。如果要就地更改df的索引，需要設(shè)置inplace=True。
df.set_index(“date”, inplace=True)
2.如果要保留將要被設(shè)置為索引的列，可以設(shè)置drop=False。
df.set_index(“date”, drop=False)
3. 一些操作后重置索引
在處理 DataFrame 時(shí)，某些操作（例如刪除行、索引選擇等）將會生成原始索引的子集，這樣默認(rèn)的數(shù)字索引排序就亂了。如要重新生成連續(xù)索引，可以使用reset_index方法。
>>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))
>>> df0
A B C
0 0.548012 0.288583 0.734276
1 0.342895 0.207917 0.995485
2 0.378794 0.160913 0.971951
3 0.039738 0.008414 0.226510
4 0.581093 0.750331 0.133022
>>> df1 = df0[df0.index % 2 == 0]
>>> df1
A B C
0 0.548012 0.288583 0.734276
2 0.378794 0.160913 0.971951
4 0.581093 0.750331 0.133022
>>> df1.reset_index(drop=True)
A B C
0 0.548012 0.288583 0.734276
1 0.378794 0.160913 0.971951
2 0.581093 0.750331 0.133022通常，我們是不需要保留舊索引的，因此可將drop參數(shù)設(shè)置為True。同樣，如果要就地重置索引，可設(shè)置inplace參數(shù)為True，否則將創(chuàng)建一個(gè)新的 DataFrame。
4. 將索引從 groupby 操作轉(zhuǎn)換為列
groupby分組方法是經(jīng)常用的。比如下面通過添加一個(gè)分組列team來進(jìn)行分組。
>>> df0["team"] = ["X", "X", "Y", "Y", "Y"]
>>> df0
A B C team
0 0.548012 0.288583 0.734276 X
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
3 0.039738 0.008414 0.226510 Y
4 0.581093 0.750331 0.133022 Y
>>> df0.groupby("team").mean()
A B C
team
X 0.445453 0.248250 0.864881
Y 0.333208 0.306553 0.443828默認(rèn)情況下，分組會將分組列編程index索引。但是很多情況下，我們不希望分組列變成索引，因?yàn)榭赡苡行┯?jì)算或者判斷邏輯還是需要用到該列的。因此，我們需要設(shè)置一下讓分組列不成為索引，同時(shí)也能完成分組的功能。
有兩種方法可以完成所需的操作，第一種是用reset_index，第二種是在groupby方法里設(shè)置as_index=False。個(gè)人更喜歡第二種方法，它只涉及兩個(gè)步驟，更簡潔。
>>> df0.groupby("team").mean().reset_index()
team A B C
0 X 0.445453 0.248250 0.864881
1 Y 0.333208 0.306553 0.443828
>>> df0.groupby("team", as_index=False).mean()
team A B C
0 X 0.445453 0.248250 0.864881
1 Y 0.333208 0.306553 0.4438285.排序后重置索引
當(dāng)用sort_value排序方法時(shí)也會遇到這個(gè)問題，因?yàn)槟J(rèn)情況下，索引index跟著排序順序而變動，所以是亂雪。如果我們希望索引不跟著排序變動，同樣需要在sort_values方法中設(shè)置一下參數(shù)ignore_index即可。
>>> df0.sort_values("A")
A B C team
3 0.039738 0.008414 0.226510 Y
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
0 0.548012 0.288583 0.734276 X
4 0.581093 0.750331 0.133022 Y
>>> df0.sort_values("A", ignore_index=True)
A B C team
0 0.039738 0.008414 0.226510 Y
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
3 0.548012 0.288583 0.734276 X
4 0.581093 0.750331 0.133022 Y6.刪除重復(fù)后重置索引
刪除重復(fù)項(xiàng)和排序一樣，默認(rèn)執(zhí)行后也會打亂排序順序。同理，可以在drop_duplicates方法中設(shè)置ignore_index參數(shù)True即可。
>>> df0
A B C team
0 0.548012 0.288583 0.734276 X
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
3 0.039738 0.008414 0.226510 Y
4 0.581093 0.750331 0.133022 Y
>>> df0.drop_duplicates("team", ignore_index=True)
A B C team
0 0.548012 0.288583 0.734276 X
1 0.378794 0.160913 0.971951 Y7. 索引的直接賦值
當(dāng)我們有了一個(gè) DataFrame 時(shí)，想要使用不同的數(shù)據(jù)源或單獨(dú)的操作來分配索引。在這種情況下，可以直接將索引分配給現(xiàn)有的 df.index。
>>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]
>>> df0.index = better_index
>>> df0
A B C team
X1 0.548012 0.288583 0.734276 X
X2 0.342895 0.207917 0.995485 X
Y1 0.378794 0.160913 0.971951 Y
Y2 0.039738 0.008414 0.226510 Y
Y3 0.581093 0.750331 0.133022 Y8.寫入CSV文件時(shí)忽略索引
數(shù)據(jù)導(dǎo)出到 CSV 文件時(shí)，默認(rèn) DataFrame 具有從 0 開始的索引。如果我們不想在導(dǎo)出的 CSV 文件中包含它，可以在to_csv方法中設(shè)置index參數(shù)。
>>> df0.to_csv("exported_file.csv", index=False)如下所示，導(dǎo)出的 CSV 文件中，索引列未包含在文件中。
其實(shí)，很多方法中都有關(guān)于索引的設(shè)置，只不過大家一般比較關(guān)心數(shù)據(jù)，而經(jīng)常忽略了索引，才導(dǎo)致繼續(xù)運(yùn)行時(shí)可能會報(bào)錯(cuò)。以上幾個(gè)高頻的操作都是有索引設(shè)置的，建議大家平時(shí)用的時(shí)候養(yǎng)成設(shè)置索引的習(xí)慣，這樣會節(jié)省不少時(shí)間。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python tkinter模塊彈出窗口及傳值回到主窗口操作詳解
這篇文章主要介紹了Python tkinter模塊彈出窗口及傳值回到主窗口操作,結(jié)合實(shí)例形式分析了Python使用tkinter模塊實(shí)現(xiàn)的彈出窗口及參數(shù)傳遞相關(guān)操作技巧,需要的朋友可以參考下2017-07-07
基于OpenCV的網(wǎng)絡(luò)實(shí)時(shí)視頻流傳輸?shù)膶?shí)現(xiàn)
這篇文章主要介紹了基于OpenCV的網(wǎng)絡(luò)實(shí)時(shí)視頻流傳輸?shù)膶?shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
Kears+Opencv實(shí)現(xiàn)簡單人臉識別
這篇文章主要為大家詳細(xì)介紹了Kears+Opencv實(shí)現(xiàn)簡單人臉識別，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-08-08
Pycharm配置遠(yuǎn)程調(diào)試的方法步驟
這篇文章主要介紹了Pycharm配置遠(yuǎn)程調(diào)試的方法步驟，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-12-12
如何用Anaconda搭建虛擬環(huán)境并創(chuàng)建Django項(xiàng)目
在本篇文章里小編給大家整理了關(guān)于如何用Anaconda搭建虛擬環(huán)境并創(chuàng)建Django項(xiàng)目的相關(guān)文章，需要的朋友們可以跟著學(xué)習(xí)下。2020-08-08
python之生產(chǎn)者消費(fèi)者模型實(shí)現(xiàn)詳解
這篇文章主要介紹了python之生產(chǎn)者消費(fèi)者模型實(shí)現(xiàn)詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
python3利用venv配置虛擬環(huán)境及過程中的小問題小結(jié)
這篇文章主要介紹了python3利用venv配置虛擬環(huán)境及過程中的小問題小結(jié)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-08-08
python?import模塊時(shí)有錯(cuò)誤紅線的原因
這篇文章主要介紹了python?import模塊時(shí)有錯(cuò)誤紅線的原因及解決，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-02-02
在使用Python的過程中,由于需求原因,我們經(jīng)常需要在文本或者網(wǎng)頁元素中用Python正則表達(dá)式匹配中文,下面這篇文章主要給大家介紹了關(guān)于python用正則表達(dá)式提取/匹配中文漢字的相關(guān)資料,需要的朋友可以參考下2022-07-07
使用Python實(shí)現(xiàn)管理系統(tǒng)附源碼
這篇文章主要為大家介紹了Python實(shí)現(xiàn)管理系統(tǒng)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01