Pandas自定義shift與DataFrame求差集的小技巧
更新時間：2022年02月28日 09:51:09 作者：小小明-代碼實體
Python是進行數(shù)據分析的一種出色語言,主要是因為以數(shù)據為中心的python軟件包具有奇妙的生態(tài)系統(tǒng),下面這篇文章主要給大家介紹了關于Pandas自定義shift與DataFrame求差集的相關資料,需要的朋友可以參考下
大家好，我是小小明。今天分享兩個小技巧：
Pandas的高級shift偏移
有很多玩量化的朋友經常碰到類似這樣的問題：
其中有位量化大佬居然在半年后的今天又問了我一遍怎么實現(xiàn)這樣的效果，他居然忘了我之前給他寫過實現(xiàn)。為了避免有人再碰到類似的問題，特別寫下此文。
我們知道Pandas默認的API是不支持這樣的操作的，這個只能自己想辦法實現(xiàn)。下面我借助數(shù)值索引實現(xiàn)這樣的功能，并封裝起來。
最終我們封裝的方法如下：
import numpy as np
import pandas as pd
def adv_shift(s, n, na_value=pd.NA):
t = np.arange(s.shape[0])-n
t[t < 0] = s.shape[0]
tmp = s.append(pd.Series(na_value))
return pd.Series(tmp.iloc[t].values, index=s.index)
然后生成測試數(shù)據完成這個需求：
df = pd.DataFrame({"a": [200, 300, 500, 800, 600], "b": [1, 1, 1, 2, 1]})
df['c'] = df.a-adv_shift(df.a, df.b, 0)
df
| a | b | c | |
|---|---|---|---|
| 0 | 200 | 1 | 200 |
| 1 | 300 | 1 | 100 |
| 2 | 500 | 1 | 200 |
| 3 | 800 | 2 | 500 |
| 4 | 600 | 1 | -200 |
可以看到結果完全滿足要求。
如果你希望直接給DataFrame對象增加高級偏移adv_shift方法，則可以這樣寫：
def adv_shift(self, field, n, na_value=pd.NA):
t = np.arange(self.shape[0])-self[n]
s = self[field]
t[t < 0] = s.shape[0]
tmp = s.append(pd.Series(na_value))
return pd.Series(tmp.iloc[t].values, index=s.index)
pd.DataFrame.adv_shift = adv_shift
調用方式：
df['c'] = df.a-df.adv_shift("a", "b", 0)
df
| a | b | c | |
|---|---|---|---|
| 0 | 200 | 1 | 200 |
| 1 | 300 | 1 | 100 |
| 2 | 500 | 1 | 200 |
| 3 | 800 | 2 | 500 |
| 4 | 600 | 1 | -200 |
最終結果與上述一致。
Datafream對象求差集
下面我們再看看如何求解Datafream對象的交集、并集和差集：
import pandas as pd
df1 = pd.DataFrame([[1, 11], [2, 22], [3, 33]],
columns=['a', 'b'])
df2 = pd.DataFrame([[0, 0], [1, 11], [2, 22], [4, 44]], columns=['a', 'b'])
display(df1)
display(df2)
交集和并集一般的實現(xiàn)都是使用merge方法。
取交集：
df1.merge(df2)
去并集：
df1.merge(df2, how='outer')
關于取差集，我采用的是去重法。思路是，將df1與df2拼接，然后將重復的都去掉不保留，為了將df2全部去掉，將df2拼接兩次，這樣所有df2的數(shù)據都會產生重新而被刪除，df1存在于與df2一致的數(shù)據也會被刪除。
代碼為：
pd.concat([df1, df2, df2]).drop_duplicates(keep=False)
測試結果：
總結
到此這篇關于Pandas自定義shift與DataFrame求差集的文章就介紹到這了,更多相關Pandas shift與DataFrame求差集內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了使用Matplotlib繪制不同顏色的帶箭頭的線實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了Pytorch神經網絡參數(shù)管理方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習吧2023-05-05
Windows+Anaconda3+PyTorch+PyCharm的安裝教程圖文詳解
這篇文章主要介紹了Windows+Anaconda3+PyTorch+PyCharm的安裝教程，本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-04-04
這篇文章主要介紹了Python中用Decorator來簡化元編程的教程,來自于IBM官方開發(fā)者技術文檔,需要的朋友可以參考下2015-04-04
詳解Django項目中模板標簽及模板的繼承與引用(網站中快速布置廣告)
這篇文章主要介紹了詳解Django項目中模板標簽及模板的繼承與引用【網站中快速布置廣告】，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-03-03
下面小編就為大家分享一篇Pandas標記刪除重復記錄的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Pandas 是一個用于數(shù)據分析的 Python 第三方庫，能夠處理和分析不同格式的數(shù)據，Pandas 提供了兩種數(shù)據結構，分別為 Series 和 DataFrame，靈活而方便地進行數(shù)據分析和操作，本文通過實例代碼給大家介紹的非常詳細，需要的朋友參考下吧2023-06-06
這篇文章主要介紹了如何利用Python3中的19行代碼把照片寫入到Excel中，文章內容實現(xiàn)的不是截取一張圖片，粘貼到excel，而是通過像素寫入到excel中,需要的朋友可以參考一下2022-02-02
這篇文章主要給大家介紹了關于python文件名批量重命名腳本的相關資料,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-04-04
今天小編就為大家分享一篇Python實現(xiàn)矩陣相乘的三種方法小結，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07