使用distinct在mysql中查詢多條不重復記錄值的解決辦法

如何使用distinct在mysql中查詢多條不重復記錄值?

有時候想用distinct去掉queryset中的重復項，看django文章中是這么說的

>>> Author.objects.distinct()
[...]
 
>>> Entry.objects.order_by('pub_date').distinct('pub_date')
[...]
 
>>> Entry.objects.order_by('blog').distinct('blog')
[...]
 
>>> Entry.objects.order_by('author', 'pub_date').distinct('author', 'pub_date')
[...]
 
>>> Entry.objects.order_by('blog__name', 'mod_date').distinct('blog__name', 'mod_date')
[...]
 
>>> Entry.objects.order_by('author', 'pub_date').distinct('author')
[...]
Note

django文檔中特別介紹了，distinct的列一定要先order_by并且在第一項。
When you specify field names, you must provide an order_by() in the QuerySet, and the fields in order_by() must start with the fields in distinct(), in the same order.

For example, SELECT DISTINCT ON (a) gives you the first row for each value in column a. If you don't specify an order, you'll get some arbitrary row.

完全照做，用的mysql數(shù)據(jù)庫最后出現(xiàn)了這樣的警告：

 raise NotImplementedError('DISTINCT ON fields is not supported by this database backend')
NotImplementedError: DISTINCT ON fields is not supported by this database backend
告訴我數(shù)據(jù)庫不支持。

當然可以這樣：

items = []
for item in query_set:
  if item not in items:
    items.append(item)

首先,我們必須知道在django中模型執(zhí)行查詢有兩種方法:

第一種,使用django給出的api,例如filter value distinct order_by等模型查詢api;

代碼:LOrder.objects.values('finish_time').distinct()

這里應注意,原官方文檔中寫到:

示例（第一個之后的示例都只能在PostgreSQL 上工作）：

>>> Author.objects.distinct() [...] >>> Entry.objects.order_by('pub_date').distinct('pub_date') [...] >>> Entry.objects.order_by('blog').distinct('blog') [...] >>> Entry.objects.order_by('author', 'pub_date').distinct('author', 'pub_date') [...] >>> Entry.objects.order_by('blog__name', 'mod_date').distinct('blog__name', 'mod_date') [...] >>> Entry.objects.order_by('author', 'pub_date').distinct('author')

因為我使用的mysql數(shù)據(jù)庫,所以在distinct只能是第一中用法,或者可以這樣用

LOrder.objects.values('finish_time').distinct().order_by('finish_time')

第二種,使用原始SQL查詢

LOrder.objects.raw('SELECT DISTINCT id,finish_time FROM keywork_lorder group by finish_time')

上面直接使用mysql語句進行剔重,這里需要特別注意的是:

一是原始SQL查詢只有一種字段不可以被丟掉,官方文檔中這樣說道:

只有一種字段不可以被省略——就是主鍵。 Django 使用主鍵來識別模型的實例，所以它在每次原始查詢中都必須包含。 如果你忘記包含主鍵的話，會拋出一個InvalidQuery異常。

意思是,如果你的sql語句是這樣的'SELECT DISTINCT finish_time FROM keywork_lorder ',那么將會報錯Raw query must include the primary key,就是id字段不能被丟掉!

二是,這里是原始mysql查詢語句,mysql去掉重復項要這樣寫:'SELECT DISTINCT id,finish_time FROM keywork_lorder group by finish_time'

補充：使用Distinct去除重復數(shù)據(jù)

distinct用于在查詢中返回列的唯一不同值（即去重復），支持單列或多列。
在實際的應用中，表中的某一列含有重復值是很常見的，如employee員工表的dept部門列。
如果在查詢數(shù)據(jù)時，希望得到某列的所有不同值，可以使用distinct。

distinct 語法

select 【distinct】 column_name1,column_name2
from table_name;

下面開始操作

創(chuàng)建一個足跡表
create table footprint(
	id int not null auto_increment primary key,
	username varchar(30) comment '用戶名',
	city varchar(30) comment '城市',
	visit_date varchar(10) comment '到訪日期'
);
插入一些數(shù)據(jù)
insert into footprint(username, city, visit_date) values('mofei', '貴陽', '2019-12-05');
insert into footprint(username, city, visit_date) values('mofei', '貴陽', '2020-01-15');
insert into footprint(username, city, visit_date) values('mofei', '北京', '2018-10-10');
insert into footprint(username, city, visit_date) values('zhangsan', '上海', '2020-01-01');
insert into footprint(username, city, visit_date) values('zhangsan', '上海', '2020-02-02');
insert into footprint(username, city, visit_date) values('lisi', '拉薩', '2016-12-20');

這些用戶到訪過那些城市
mysql> select distinct city from footprint;
和group by 效果相同，只不過distinct專門負責去重復這個活
mysql> select city from footprint group by city;


查詢有幾個用戶在使用系統(tǒng)
mysql> select distinct username from footprint;

dictinct作用于兩個字段時，多條數(shù)據(jù)都相同時會保留一條

以上內容來自墨菲墨菲的補充

補充知識：Distinct和Group by去除重復字段記錄

重復記錄 有兩個意義，一是完全重復的記錄，也即所有字段均重復的記錄

二是部分關鍵字段重復的記錄，比如Name字段重復，而其他字段不一定重復或都重復可以忽略。

1、對于第一種重復，比較容易解決，使用

select distinct * from tableName

就可以得到無重復記錄的結果集。

如果該表需要刪除重復的記錄(重復記錄保留1條)，可以按以下方法刪除

select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp

發(fā)生這種重復的原因是表設計不周產生的，增加唯一索引列即可解決。

2、這類重復問題通常要求保留重復記錄中的第一條記錄，操作方法如下

假設有重復的字段為Name,Address，要求得到這兩個字段唯一的結果集

select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name
select * from #Tmp where autoID in(select autoID from #tmp2)

最后一個select即得到了Name，Address不重復的結果集(但多了一個autoID字段，實際寫時可以寫在select子句中省去此列)

其它的數(shù)據(jù)庫可以使用序列，如：

create sequence seq1;
select seq1.nextval as autoID, * into #Tmp from tableName

zuolo: 我根據(jù)上面實例得到所需要的語句為 SELECT MAX(id) AS ID,Prodou_id,FinalDye FROM anwell..tblDBDdata GROUP BY Prodou_id,FinalDye ORDER BY id，之前一直想用Distinct來得到指定字段不重復的記錄是個誤區(qū)。

以上這篇Django 解決distinct無法去除重復數(shù)據(jù)的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。