SQL去重的3種實(shí)用方法總結(jié)

更新時(shí)間：2022年10月26日 09:29:57 作者：1024小神

SQL去重是數(shù)據(jù)分析工作中比較常見的一個(gè)場景,下面這篇文章主要給大家介紹了關(guān)于SQL去重的3種實(shí)用方法的相關(guān)資料,文中通過圖文以及實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下

1.distinct去重

注意的點(diǎn)：distinct

只能一列去重，當(dāng)distinct后跟大于1個(gè)參數(shù)時(shí)，他們之間的關(guān)系是&&(邏輯與)關(guān)系，只有全部條件相同才會去重

弊端：當(dāng)查詢的字段比較多時(shí)，distinct會作用多個(gè)字段，導(dǎo)致去重條件增多

select distinct UserResult from Table1

2.group by去重

去重原理：將重復(fù)的行進(jìn)行分組，相同的數(shù)據(jù)只顯示第一行

弊端：使用group by后，所有查詢字段都需要使用聚合函數(shù)，比較繁瑣

select min(UserName)UserName,min(UserSex)UserSex,min(UserSubject)UserSubject,min(UserResult)UserResult from Table1
group by UserResult

3.row_number() over (parttion by 分組列 order by 排序列)

弊端：小孟還不知道

去重原理：現(xiàn)根據(jù)重復(fù)列進(jìn)行分組，分組后再進(jìn)行排序，不同的組序號為1，相同的組序號為2，排除為2的就達(dá)到了去重效果

select *from
(
--查詢出重復(fù)行
select *,row_number() over (partition by UserResult order by UserResult desc)num from Table1
)A
where A.num=1

這里安利第三個(gè)，row_number(),穩(wěn)一些！

補(bǔ)充：SQL根據(jù)某列或幾列分組去重——row_number() over(partition by)的用法

有時(shí)利用SQL進(jìn)行數(shù)據(jù)處理會發(fā)現(xiàn)，要根據(jù)某列或某幾列選取信息，由于其他列不同而出現(xiàn)了多次，如運(yùn)行程序1的結(jié)果圖1：

程序1：

--程序1：要解決的問題
select a.*
  from AShareEarningEst a
 where a.S_INFO_WINDCODE in ('000650.SZ')
   and a.REPORTING_PERIOD = 20181231
order by a.RESEARCH_INST_NAME,a.EST_DT

我們看到，在AShareEarningEst(中國A股盈利預(yù)測明細(xì))表中，共有12人次的證券公司研究員，對000650.SZ（仁和藥業(yè)）公司的20181231報(bào)告期進(jìn)行預(yù)測。例：華泰證券的楊燁輝在20160420、20160428和20160622分別對000650.SZ（仁和藥業(yè)）發(fā)布研究報(bào)告進(jìn)行了預(yù)測?，F(xiàn)在，我們只需要同一家證券公司的同一個(gè)研究員（此處假定同一家證券公司的研究員姓名相同時(shí)，即為同一個(gè)研究員）做出的最新預(yù)測數(shù)據(jù)，即根據(jù)證券公司名稱、研究員姓名，同時(shí)根據(jù)估計(jì)日期進(jìn)行篩選。

此時(shí)，可根據(jù)row_number() over(partition by)進(jìn)行處理，運(yùn)行程序2結(jié)果如圖2：

程序2：

--程序2：最終解決問題的程序
select b.*
from (select row_number() over(partition by a.RESEARCH_INST_NAME,
              a.ANALYST_NAME order by est_dt desc) as rn,
             --根據(jù)RESEARCH_INST_NAME（證券公司名稱）和ANALYST_NAME（研究員名字）進(jìn)行分類，
             --同時(shí)根據(jù)est_dt（估計(jì)日期）倒序排序，即最新日期排在同一分類的上方，此時(shí)構(gòu)建出rn為
             a.*
        from wdzx.AShareEarningEst a
       where a.S_INFO_WINDCODE in ('000650.SZ') --, '000951.SZ', '600006.SH', '600166.SH')
         and a.REPORTING_PERIOD = 20181231) b --將分類后的程序構(gòu)成表b。可以先運(yùn)行b的程序觀察結(jié)果
       where b.rn = 1--運(yùn)用表b的結(jié)果進(jìn)行子查詢，rn=1即為所需結(jié)果