MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法

更新時間：2019年05月28日 11:38:51 作者：aleo

這篇文章主要給大家介紹了關(guān)于MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用MySQL具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧

場景：

爬取的數(shù)據(jù)生成數(shù)據(jù)表，結(jié)構(gòu)與另一個主表相同，需要進行合并+去重

解決：（直接舉例）

首先創(chuàng)建兩個表pep，pep2，其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入兩條數(shù)據(jù)，pep2中插入一條與pep中相同的一條數(shù)據(jù)

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

將pep2的數(shù)據(jù)插入pep中

insert into pep (no) select no from pep2;

分組去重創(chuàng)建新的臨時表tmp

create table tmp select id,no from pep group by no;

注意：創(chuàng)建完這個表的id字段類型已經(jīng)不是主鍵自增

 可能也會報錯
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解決：執(zhí)行以下兩個命令：
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

刪除pep表，并將tmp表重命名為pep

drop table pep;
alter table tmp rename to pep;

查看desc結(jié)構(gòu)和select * from pep發(fā)現(xiàn)id的字段類型變了，這里需要改回原來的類型；

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

還有可以使用join來做去重，更快的還可以添加一個字段（可以是幾個字段+起來的的md5值），給這個字段創(chuàng)建一個唯一索引unique，以后插入數(shù)據(jù)的時候，自動回過濾掉重復(fù)的數(shù)據(jù)。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。

您可能感興趣的文章:

相關(guān)文章

MySQL 5.7.14 net start mysql 服務(wù)無法啟動-“NET HELPMSG 3534” 的奇怪問題
這篇文章主要介紹了MySQL 5.7.14 net start mysql 服務(wù)無法啟動-“NET HELPMSG 3534” 的奇怪問題,需要的朋友可以參考下
2016-12-12
MySQL 撤銷日志與重做日志(Undo Log與Redo Log)相關(guān)總結(jié)
這篇文章主要介紹了MySQL 撤銷日志與重做日志(Undo Log與Redo Log)相關(guān)總結(jié),幫助大家更好的理解和學(xué)習(xí)使用MySQL，感興趣的朋友可以了解下
2021-03-03
徹底搞懂MySQL存儲過程和函數(shù)
我們大家都知道MySQL 存儲過程是從 MySQL 5.0 開始逐漸增加新的功能,下面這篇文章主要給大家介紹了關(guān)于MySQL存儲過程和函數(shù)的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
2022-04-04
mysql通過find_in_set()函數(shù)實現(xiàn)where in()順序排序
這篇文章主要介紹了mysql通過find_in_set()函數(shù)實現(xiàn)where in()順序排序的相關(guān)內(nèi)容，具有一定參考價值，需要的朋友可以了解下。
2017-10-10
MySQL查看主從狀態(tài)的命令實現(xiàn)
本文主要介紹了MySQL查看主從狀態(tài)的命令實現(xiàn),我們可以使用SHOW SLAVE STATUS命令來查看主從狀態(tài),本文就來詳細的介紹一下如何實現(xiàn),感興趣的可以了解一下
2023-10-10
mysql中的日期相減的天數(shù)函數(shù)
這篇文章主要介紹了mysql中的日期相減的天數(shù)函數(shù)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-02-02
登錄MySQL時出現(xiàn)SSL connection error: unknown
這篇文章主要介紹了登錄MySQL時出現(xiàn)SSL connection error: unknown error number錯誤的解決方法,文中通過圖文結(jié)合的形式講解的非常詳細,對大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
2024-12-12
基于MySql的擴展功能生成全局ID
本文借用 MySQL的擴展功能 REPLACE INTO 來生成全局id，REPLACE INTO和INSERT的功能一樣，但是當(dāng)使用REPLACE INTO插入新數(shù)據(jù)行時，如果新插入的行的主鍵或唯一鍵(UNIQUE Key)已有的行重復(fù)時，已有的行會先被刪除，然后再將新數(shù)據(jù)行插入
2015-12-12
mysql prompt一個特別好用的命令
本篇文章是對mysql中的prompt進行了詳細的分析介紹，需要的朋友參考下
2013-06-06
MySQL六種約束的示例詳解
約束是作用于表中字段上的規(guī)則，用于限制存儲在表中的數(shù)據(jù)。這篇文章主要為大家整理了一下MySQL中六種約束的用法，感興趣的可以了解一下
2023-02-02