python merge、concat合并數(shù)據(jù)集的實例講解
更新時間：2018年04月12日 09:17:58 作者：LY_ysys629
下面小編就為大家分享一篇python merge、concat合并數(shù)據(jù)集的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
數(shù)據(jù)規(guī)整化：合并、清理、過濾
pandas和python標準庫提供了一整套高級、靈活的、高效的核心函數(shù)和算法將數(shù)據(jù)規(guī)整化為你想要的形式！
本篇博客主要介紹：
合并數(shù)據(jù)集：.merge()、.concat()等方法，類似于SQL或其他關系型數(shù)據(jù)庫的連接操作。
合并數(shù)據(jù)集
1） merge 函數(shù)參數(shù)
| 參數(shù) | 說明 |
|---|---|
| left | 參與合并的左側DataFrame |
| right | 參與合并的右側DataFrame |
| how | 連接方式：‘inner'（默認）；還有，‘outer'、‘left'、‘right' |
| on | 用于連接的列名，必須同時存在于左右兩個DataFrame對象中，如果位指定，則以left和right列名的交集作為連接鍵 |
| left_on | 左側DataFarme中用作連接鍵的列 |
| right_on | 右側DataFarme中用作連接鍵的列 |
| left_index | 將左側的行索引用作其連接鍵 |
| right_index | 將右側的行索引用作其連接鍵 |
| sort | 根據(jù)連接鍵對合并后的數(shù)據(jù)進行排序，默認為True。有時在處理大數(shù)據(jù)集時，禁用該選項可獲得更好的性能 |
| suffixes | 字符串值元組，用于追加到重疊列名的末尾，默認為（‘_x',‘_y'）.例如，左右兩個DataFrame對象都有‘data'，則結果中就會出現(xiàn)‘data_x'，‘data_y' |
| copy | 設置為False，可以在某些特殊情況下避免將數(shù)據(jù)復制到結果數(shù)據(jù)結構中。默認總是賦值 |
1、多對一的合并（一個表的連接鍵列有重復值，另一個表中的連接鍵沒有重復值）
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})
df1
| data1 | key | |
|---|---|---|
| 0 | 0 | b |
| 1 | 1 | b |
| 2 | 2 | a |
| 3 | 3 | c |
| 4 | 4 | a |
| 5 | 5 | a |
| 6 | 6 | b |
df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})
df2
| data2 | key | |
|---|---|---|
| 0 | 0 | a |
| 1 | 1 | b |
| 2 | 2 | d |
pd.merge(df1,df2)#默認情況
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0 | b | 1 |
| 1 | 1 | b | 1 |
| 2 | 6 | b | 1 |
| 3 | 2 | a | 0 |
| 4 | 4 | a | 0 |
| 5 | 5 | a | 0 |
df1.merge(df2)
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0 | b | 1 |
| 1 | 1 | b | 1 |
| 2 | 6 | b | 1 |
| 3 | 2 | a | 0 |
| 4 | 4 | a | 0 |
| 5 | 5 | a | 0 |
df1.merge(df2,on = 'key',how = 'inner')#內連接，取交集
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0 | b | 1 |
| 1 | 1 | b | 1 |
| 2 | 6 | b | 1 |
| 3 | 2 | a | 0 |
| 4 | 4 | a | 0 |
| 5 | 5 | a | 0 |
df1.merge(df2,on = 'key',how = 'outer')#外鏈接，取并集，并用nan填充
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0.0 | b | 1.0 |
| 1 | 1.0 | b | 1.0 |
| 2 | 6.0 | b | 1.0 |
| 3 | 2.0 | a | 0.0 |
| 4 | 4.0 | a | 0.0 |
| 5 | 5.0 | a | 0.0 |
| 6 | 3.0 | c | NaN |
| 7 | NaN | d | 2.0 |
df1.merge(df2,on = 'key',how = 'left')#左連接，左側DataFrame取全部，右側DataFrame取部分
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0 | b | 1.0 |
| 1 | 1 | b | 1.0 |
| 2 | 2 | a | 0.0 |
| 3 | 3 | c | NaN |
| 4 | 4 | a | 0.0 |
| 5 | 5 | a | 0.0 |
| 6 | 6 | b | 1.0 |
df1.merge(df2,on = 'key',how = 'right')#右連接，右側DataFrame取全部，左側DataFrame取部分
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0.0 | b | 1 |
| 1 | 1.0 | b | 1 |
| 2 | 6.0 | b | 1 |
| 3 | 2.0 | a | 0 |
| 4 | 4.0 | a | 0 |
| 5 | 5.0 | a | 0 |
| 6 | NaN | d | 2 |
如果左右側DataFrame的連接鍵列名不一致，但是取值有重疊，可使用left_on、right_on來指定左右連接鍵
df3 = pd.DataFrame({'lkey':['b','b','a','c','a','a','b'],'data1': range(7)})
df3
| data1 | lkey | |
|---|---|---|
| 0 | 0 | b |
| 1 | 1 | b |
| 2 | 2 | a |
| 3 | 3 | c |
| 4 | 4 | a |
| 5 | 5 | a |
| 6 | 6 | b |
df4 = pd.DataFrame({'rkey':['a','b','d'],'data2':range(3)})
df4
| data2 | rkey | |
|---|---|---|
| 0 | 0 | a |
| 1 | 1 | b |
| 2 | 2 | d |
df3.merge(df4,left_on = 'lkey',right_on = 'rkey',how = 'inner')
| data1 | lkey | data2 | rkey | |
|---|---|---|---|---|
| 0 | 0 | b | 1 | b |
| 1 | 1 | b | 1 | b |
| 2 | 6 | b | 1 | b |
| 3 | 2 | a | 0 | a |
| 4 | 4 | a | 0 | a |
| 5 | 5 | a | 0 | a |
2、多對多的合并（一個表的連接鍵列有重復值，另一個表中的連接鍵有重復值）
df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})
df1
| data1 | key | |
|---|---|---|
| 0 | 0 | b |
| 1 | 1 | b |
| 2 | 2 | a |
| 3 | 3 | c |
| 4 | 4 | a |
| 5 | 5 | a |
| 6 | 6 | b |
df5 = pd.DataFrame({'key':['a','b','a','b','b'],'data2': range(5)})
df5
| data2 | key | |
|---|---|---|
| 0 | 0 | a |
| 1 | 1 | b |
| 2 | 2 | a |
| 3 | 3 | b |
| 4 | 4 | b |
df1.merge(df5)
| data1 | key | data2 | |
|---|---|---|---|
| 0 | 0 | b | 1 |
| 1 | 0 | b | 3 |
| 2 | 0 | b | 4 |
| 3 | 1 | b | 1 |
| 4 | 1 | b | 3 |
| 5 | 1 | b | 4 |
| 6 | 6 | b | 1 |
| 7 | 6 | b | 3 |
| 8 | 6 | b | 4 |
| 9 | 2 | a | 0 |
| 10 | 2 | a | 2 |
| 11 | 4 | a | 0 |
| 12 | 4 | a | 2 |
| 13 | 5 | a | 0 |
| 14 | 5 | a | 2 |
合并小結
1）默認情況下，會將兩個表中相同列名作為連接鍵
2）多對多，會采用笛卡爾積形式鏈接（左表連接鍵有三個值‘1，3，5'，右表有兩個值‘2，3'，則會形成，（1，2）（1，3）（3，1），（3，2）。。。6種組合）
3）存在多個連接鍵的處理
left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','one','two'],'lval':[1,2,3]})
right = pd.DataFrame({'key1':['foo','foo','bar','bar'],'key2':['one','one','one','two'],'rval':[4,5,6,7]})
left
| key1 | key2 | lval | |
|---|---|---|---|
| 0 | foo | one | 1 |
| 1 | foo | one | 2 |
| 2 | bar | two | 3 |
right
| key1 | key2 | rval | |
|---|---|---|---|
| 0 | foo | one | 4 |
| 1 | foo | one | 5 |
| 2 | bar | one | 6 |
| 3 | bar | two | 7 |
pd.merge(left,right,on = ['key1','key2'],how = 'outer')
| key1 | key2 | lval | rval | |
|---|---|---|---|---|
| 0 | foo | one | 1.0 | 4 |
| 1 | foo | one | 1.0 | 5 |
| 2 | foo | one | 2.0 | 4 |
| 3 | foo | one | 2.0 | 5 |
| 4 | bar | two | 3.0 | 7 |
| 5 | bar | one | NaN | 6 |
1）連接鍵是多對多關系，應執(zhí)行笛卡爾積形式
2）多列應看連接鍵值對是否一致
4）對連接表中非連接列的重復列名的處理
pd.merge(left,right,on = 'key1')
| key1 | key2_x | lval | key2_y | rval | |
|---|---|---|---|---|---|
| 0 | foo | one | 1 | one | 4 |
| 1 | foo | one | 1 | one | 5 |
| 2 | foo | one | 2 | one | 4 |
| 3 | foo | one | 2 | one | 5 |
| 4 | bar | two | 3 | one | 6 |
| 5 | bar | two | 3 | two | 7 |
pd.merge(left,right,on = 'key1',suffixes = ('_left','_right'))
| key1 | key2_left | lval | key2_right | rval | |
|---|---|---|---|---|---|
| 0 | foo | one | 1 | one | 4 |
| 1 | foo | one | 1 | one | 5 |
| 2 | foo | one | 2 | one | 4 |
| 3 | foo | one | 2 | one | 5 |
| 4 | bar | two | 3 | one | 6 |
| 5 | bar | two | 3 | two | 7 |
2）索引上的合并
當連接鍵位于索引中時，成為索引上的合并，可以通過merge函數(shù)，傳入left_index、right_index來說明應該被索引的情況。
一表中連接鍵是索引列、另一表連接鍵是非索引列
left1 = pd.DataFrame({'key':['a','b','a','a','b','c'],'value': range(6)})
left1
| key | value | |
|---|---|---|
| 0 | a | 0 |
| 1 | b | 1 |
| 2 | a | 2 |
| 3 | a | 3 |
| 4 | b | 4 |
| 5 | c | 5 |
right1 = pd.DataFrame({'group_val':[3.5,7]},index = ['a','b'])
right1
| group_val | |
|---|---|
| a | 3.5 |
| b | 7.0 |
pd.merge(left1,right1,left_on = 'key',right_index = True)
| key | value | group_val | |
|---|---|---|---|
| 0 | a | 0 | 3.5 |
| 2 | a | 2 | 3.5 |
| 3 | a | 3 | 3.5 |
| 1 | b | 1 | 7.0 |
| 4 | b | 4 | 7.0 |
有上可知，left_on、right_on是指定表中非索引列為連接鍵，left_index、right_index是指定表中索引列為連接鍵，兩者可以組合，是為了區(qū)分是否是索引列
兩個表中的索引列都是連接鍵
left2 = pd.DataFrame(np.arange(6).reshape(3,2),index = ['a','b','e'],columns = ['0hio','nevada']) right2 = pd.DataFrame(np.arange(7,15).reshape(4,2),index = ['b','c','d','e'],columns = ['misso','ala']) left2
| 0hio | nevada | |
|---|---|---|
| a | 0 | 1 |
| b | 2 | 3 |
| e | 4 | 5 |
right2
| misso | ala | |
|---|---|---|
| b | 7 | 8 |
| c | 9 | 10 |
| d | 11 | 12 |
| e | 13 | 14 |
pd.merge(left2,right2,left_index = True,right_index = True,how = 'outer')
| 0hio | nevada | misso | ala | |
|---|---|---|---|---|
| a | 0.0 | 1.0 | NaN | NaN |
| b | 2.0 | 3.0 | 7.0 | 8.0 |
| c | NaN | NaN | 9.0 | 10.0 |
| d | NaN | NaN | 11.0 | 12.0 |
| e | 4.0 | 5.0 | 13.0 | 14.0 |
3）軸向連接
在這里展示一種新的連接方法，對應于numpy的concatenate函數(shù)，pandas有concat函數(shù)
#numpy arr =np.arange(12).reshape(3,4)
arr
array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]])
np.concatenate([arr,arr],axis = 1)#橫軸連接塊
array([[ 0, 1, 2, 3, 0, 1, 2, 3], [ 4, 5, 6, 7, 4, 5, 6, 7], [ 8, 9, 10, 11, 8, 9, 10, 11]])
concat函數(shù)參數(shù)表格
| 參數(shù) | 說明 |
|---|---|
| objs | 參與連接的列表或字典，且列表或字典里的對象是pandas數(shù)據(jù)類型，唯一必須給定的參數(shù) |
| axis=0 | 指明連接的軸向，0是縱軸，1是橫軸，默認是0 |
| join | ‘inner'（交集），‘outer'（并集），默認是‘outer'指明軸向索引的索引是交集還是并集 |
| join_axis | 指明用于其他n-1條軸的索引（層次化索引，某個軸向有多個索引），不執(zhí)行交并集 |
| keys | 與連接對象有關的值，用于形成連接軸向上的層次化索引（外層索引），可以是任意值的列表或數(shù)組、元組數(shù)據(jù)、數(shù)組列表（如果將levels設置成多級數(shù)組的話） |
| levels | 指定用作層次化索引各級別（內層索引）上的索引，如果設置keys的話 |
| names | 用于創(chuàng)建分層級別的名稱，如果設置keys或levels的話 |
| verify_integrity | 檢查結果對象新軸上的重復情況，如果發(fā)橫則引發(fā)異常，默認False，允許重復 |
| ignore_index | 不保留連接軸上的索引，產生一組新索引range（total_length） |
s1 = pd.Series([0,1,2],index = ['a','b','c']) s2 = pd.Series([2,3,4],index = ['c','f','e']) s3 = pd.Series([4,5,6],index = ['c','f','g'])
pd.concat([s1,s2,s3])#默認并集、縱向連接
a 0 b 1 c 2 c 2 f 3 e 4 c 4 f 5 g 6 dtype: int64
pd.concat([s1,s2,s3],ignore_index = True)#生成縱軸上的并集，索引會自動生成新的一列
0 0 1 1 2 2 3 2 4 3 5 4 6 4 7 5 8 6 dtype: int64
pd.concat([s1,s2,s3],axis = 1,join = 'inner')#縱向取交集,注意該方法對對象表中有重復索引時失效
| 0 | 1 | 2 | |
|---|---|---|---|
| c | 2 | 2 | 4 |
pd.concat([s1,s2,s3],axis = 1,join = 'outer')#橫向索引取并集，縱向索引取交集,注意該方法對對象表中有重復索引時失效
| 0 | 1 | 2 | |
|---|---|---|---|
| a | 0.0 | NaN | NaN |
| b | 1.0 | NaN | NaN |
| c | 2.0 | 2.0 | 4.0 |
| e | NaN | 4.0 | NaN |
| f | NaN | 3.0 | 5.0 |
| g | NaN | NaN | 6.0 |
concat函數(shù)小結
1）縱向連接，ignore_index = False ,可能生成重復的索引
2）橫向連接時，對象索引不能重復
4）合并重疊數(shù)據(jù)
適用范圍：
1）當兩個對象的索引有部分或全部重疊時
2）用參數(shù)對象中的數(shù)據(jù)為調用者對象的缺失數(shù)據(jù)‘打補丁'
a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['a','b','c','d','e','f']) b = pd.Series(np.arange(len(a)),index = ['a','b','c','d','e','f'])
a
a NaN b 2.5 c NaN d 3.5 e 4.5 f NaN dtype: float64
b
a 0 b 1 c 2 d 3 e 4 f 5 dtype: int32
a.combine_first(b)#利用b填補了a的空值
a 0.0 b 2.5 c 2.0 d 3.5 e 4.5 f 5.0 dtype: float64
a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['g','b','c','d','e','f'])
a.combine_first(b)#部分索引重疊
a 0.0 b 2.5 c 2.0 d 3.5 e 4.5 f 5.0 g NaN dtype: float64
小結
本篇博客主要講述了一下內容：
1） merge函數(shù)合并數(shù)據(jù)集
2）concat函數(shù)合并數(shù)據(jù)集
3）combine_first函數(shù)，含有重疊索引的缺失值填補
以上這篇python merge、concat合并數(shù)據(jù)集的實例講解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- pandas中merge()函數(shù)的用法解讀
- php使用imagecopymerge()函數(shù)創(chuàng)建半透明水印
- php通過array_merge()函數(shù)合并兩個數(shù)組的方法
- php通過array_merge()函數(shù)合并關聯(lián)和非關聯(lián)數(shù)組的方法
- php數(shù)組合并array_merge()函數(shù)使用注意事項
- Pandas使用Merge與Join和Concat分別進行合并數(shù)據(jù)效率對比分析
- 利用R語言合并數(shù)據(jù)框的行與列實例代碼
- 使用R中merge()函數(shù)合并數(shù)據(jù)的方法
相關文章
列表推導式和生成器都是Python中處理集合的強大工具,列表推導式用于快速生成列表,而生成器表達式則提供了一種節(jié)約內存的方式來處理大型數(shù)據(jù)集,下面就來介紹一下python實現(xiàn)列表推導式與生成器,感興趣的可以了解一下2024-09-09
如何用Python Beautiful?Soup解析HTML內容
Beautiful Soup是一種Python的解析庫，主要用于解析和處理HTML/XML內容，詳細介紹Beautiful Soup的使用方式和應用場景,本文給大家介紹的非常詳細，需要的朋友可以參考下2023-05-05
解決pyinstaller打包exe可執(zhí)行文件后運行找不到pandas或者XXX模塊
這篇文章主要介紹了解決pyinstaller打包exe可執(zhí)行文件后運行找不到pandas或者XXX模塊問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11
python使用XPath解析數(shù)據(jù)爬取起點小說網(wǎng)數(shù)據(jù)
這篇文章主要介紹了python使用XPath解析數(shù)據(jù)爬取起點小說網(wǎng)數(shù)據(jù)，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-04-04
在現(xiàn)代Web應用和數(shù)據(jù)密集型服務中,使用Redis作為緩存可以提升性能和響應速度,Redis是一個高性能的內存中數(shù)據(jù)結構存儲系統(tǒng),支持多種數(shù)據(jù)結構如字符串、哈希、列表等,并提供持久性和分布式支持,本文給大家介紹Python 使用 Redis 作為緩存的操作方法,感興趣的朋友一起看看吧2024-10-10
Flask是一個使用 Python 編寫的輕量級 Web 應用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎則使用 Jinja2 。Flask使用 BSD 授權。Flask也被稱為 “microframework” ，因為它使用簡單的核心，用 extension 增加其他功能，F(xiàn)lask中Cookie和Session有什么區(qū)別呢2022-10-10
Python英文文章詞頻統(tǒng)計(14份劍橋真題詞頻統(tǒng)計)
這篇文章主要介紹了Python英文文章詞頻統(tǒng)計(14份劍橋真題詞頻統(tǒng)計)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-10-10
翻頁是經(jīng)常使用的功能，Django提供了翻頁器。用Django的Paginator類實現(xiàn)，有需要了解Paginator類用法的朋友可參考。希望此文章對各位有所幫助2021-05-05
這篇文章主要介紹了利用python設計圖像加密技術(Arnold算法)，本文將借助Arnold置亂法，講解如何用python從頭至尾設計出一套圖像加密算法，需要的小伙伴可以才參考一下2022-03-03
在本篇文章中小編給大家整理了關于python中的單引號雙引號有什么區(qū)別的相關知識點以及實例代碼，需要的朋友們參考下。2019-06-06