MySQL中的多字段相同數(shù)據(jù)去重復(fù)
MySQL多字段相同數(shù)據(jù)去重復(fù)
MySQL多字段去重復(fù)實(shí)際上是單字段去重復(fù)的衍生，原理就是把多字段數(shù)據(jù)通過(guò)子查詢合并為單字段的數(shù)據(jù)表，再通過(guò)單字段數(shù)據(jù)group by 進(jìn)行匯總，用 having把 count(字段) > 1的數(shù)據(jù)都顯示出來(lái)，最后把查找到的重復(fù)數(shù)據(jù) 用min方法或者max方法獲取最小id或者最大id來(lái)選擇刪除。
1、多字段轉(zhuǎn)單字段
這里需要把id顯示出來(lái)，后面有用到
SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
2、把多字段合并為單字段
的查詢結(jié)果放入子查詢，查找存在重復(fù)的數(shù)據(jù)，并顯示重復(fù)數(shù)
SELECT COUNT(a.id),a.uuid FROM ( ? ? SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
3、將查詢到的重復(fù)id
來(lái)獲取重復(fù)數(shù)據(jù)里最小的id
SELECT min(a.id) FROM ( ? ? ?SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
4、將獲取到重復(fù)數(shù)據(jù)最小的id值
放入 IN內(nèi)作為刪除數(shù)據(jù)的條件
DELETE FROM static_url WHERE id IN( ? ? SELECT min(a.id) FROM ( ? ? ? ? SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url ? ? ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1 )
5、bug補(bǔ)充
如果直接執(zhí)行步驟4的代碼時(shí)，MySQL會(huì)卡住，會(huì)卡住，卡住，??！
雖然邏輯上來(lái)說(shuō)沒(méi)問(wèn)題，但執(zhí)行的時(shí)候嵌套過(guò)多子查詢，就會(huì)出現(xiàn)問(wèn)題，所以要把子查詢數(shù)據(jù)拎出來(lái)再放入刪除語(yǔ)句內(nèi)
DELETE FROM static_url WHERE id IN( ? ?91383,26240,26256,26269,26129,26108,26029,26067,26095,26309,26595,51805,37459,32493,32417 )
6、將步驟4的代碼多執(zhí)行幾次
直到執(zhí)行結(jié)果顯示沒(méi)有刪除到數(shù)據(jù)的時(shí)候才停止，因?yàn)橹貜?fù)數(shù)據(jù)不一定只重復(fù)一次，很可能重復(fù)好幾次，每一次執(zhí)行只能刪除重復(fù)數(shù)據(jù)的最小id，不是只保留最大id
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
MySQL報(bào)錯(cuò)1118,數(shù)據(jù)類型長(zhǎng)度過(guò)長(zhǎng)問(wèn)題及解決
在使用MySQL過(guò)程中,常見(jiàn)的一個(gè)問(wèn)題是報(bào)錯(cuò)1118,這通常發(fā)生在創(chuàng)建表時(shí),錯(cuò)誤提示為“Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual2024-10-10
MySQL數(shù)據(jù)庫(kù)手冊(cè)DATABASE操作與編碼(小白入門(mén)篇)
這篇文章主要介紹了MySQL數(shù)據(jù)庫(kù)手冊(cè)DATABASE操作與編碼的小白入門(mén)篇,有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-05-05
MySQL實(shí)現(xiàn)列轉(zhuǎn)行與行轉(zhuǎn)列的操作代碼
在處理數(shù)據(jù)時(shí),我們常常會(huì)遇到需要將表中的列（字段）轉(zhuǎn)換為行,或?qū)⑿修D(zhuǎn)換為列的情況,這種操作通常被稱為“列轉(zhuǎn)行”（Pivoting）和“行轉(zhuǎn)列”（Unpivoting）,本文將向您介紹如何使用 CASE 語(yǔ)句、聚合函數(shù)以及 GROUP BY 子句來(lái)完成列轉(zhuǎn)行和行轉(zhuǎn)列的操作2024-09-09
DBA應(yīng)該知道的一些關(guān)于SQL Server跟蹤標(biāo)記的使用
本篇文章小編為大家介紹，DBA應(yīng)該知道的一些關(guān)于SQL Server跟蹤標(biāo)記的使用。需要的朋友參考下2013-04-04
MySQL的多版本并發(fā)控制MVCC的實(shí)現(xiàn)
MVCC就是多版本并發(fā)控制，本文主要介紹了MySQL的多版本并發(fā)控制MVCC的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-12-12
MySQL實(shí)現(xiàn)類似Oracle序列的方案
今天小編就為大家分享一篇關(guān)于MySQL實(shí)現(xiàn)類似Oracle序列的方案，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-03-03
這篇文章主要給大家介紹了關(guān)于MySQL中大對(duì)象的多版本并發(fā)控制的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用mysql具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-11-11
這篇文章主要介紹了MySQL CPU過(guò)高的排查方法,通過(guò)top命令查看服務(wù)器CPU資源使用情況,明確CPU占用率較高的是否是mysqld進(jìn)程,文章通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-11-11
MySQL 日期時(shí)間格式化函數(shù) DATE_FORMAT() 的使用示例詳解
`DATE_FORMAT()`是MySQL中用于格式化日期時(shí)間的函數(shù),本文詳細(xì)介紹了其語(yǔ)法、格式化字符串的含義以及常見(jiàn)日期時(shí)間格式組合,感興趣的朋友一起看看吧2025-03-03
mysql添加索引和不添加索引的區(qū)別及說(shuō)明
這篇文章主要介紹了mysql添加索引和不添加索引的區(qū)別及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01