為什么MySQL分頁(yè)用limit會(huì)越來(lái)越慢
阿牛新入職了一家新公司,第一個(gè)任務(wù)是根據(jù)條件導(dǎo)出訂單表中的數(shù)據(jù)到文件中,阿牛心想:這也太簡(jiǎn)單了,于是很快寫好了如下語(yǔ)句,并且告訴測(cè)試自己的代碼是免測(cè)產(chǎn)品。
語(yǔ)句如下:
select * from orders where name=‘lilei' and create_time>'2020-01-01 00:00:00' limit start,end
沒(méi)想到上線一段時(shí)間后,生產(chǎn)開始預(yù)警,顯示這條sql為慢SQL,執(zhí)行時(shí)間50多秒,嚴(yán)重影響到了業(yè)務(wù)。
阿牛趕緊請(qǐng)教大佬猿猿幫忙查找原因,猿猿很快就幫其解決了,并且給阿牛做了以下實(shí)驗(yàn):
一、測(cè)試實(shí)驗(yàn)
mysql分頁(yè)直接用limit start, count分頁(yè)語(yǔ)句:
select * from product limit start, count
當(dāng)起始頁(yè)較小時(shí),查詢沒(méi)有性能問(wèn)題,我們分別看下從10, 100, 1000, 10000開始分頁(yè)的執(zhí)行時(shí)間(每頁(yè)取20條),如下:
select * from product limit 10, 20 0.016秒 select * from product limit 100, 20 0.016秒 select * from product limit 1000, 20 0.047秒 select * from product limit 10000, 20 0.094秒
我們已經(jīng)看出隨著起始記錄的增加,時(shí)間也隨著增大, 這說(shuō)明分頁(yè)語(yǔ)句limit跟起始頁(yè)碼是有很大關(guān)系的,
那么我們把起始記錄改為40w看下(也就是記錄的一半左右)
select * from product limit 400000, 20 3.229秒
再看我們獲取最后一頁(yè)記錄的時(shí)間
select * from product limit 866613, 20 37.44秒
像這種分頁(yè)最大的頁(yè)碼頁(yè)顯然這種時(shí)間是無(wú)法忍受的。
從中我們也能總結(jié)出兩件事情:
limit語(yǔ)句的查詢時(shí)間與起始記錄的位置成正比。
mysql的limit語(yǔ)句是很方便,但是對(duì)記錄很多的表并不適合直接使用。
二、 對(duì)limit分頁(yè)問(wèn)題的性能優(yōu)化方法
2.1 利用表的覆蓋索引來(lái)加速分頁(yè)查詢
我們都知道,利用了索引查詢的語(yǔ)句中如果只包含了那個(gè)索引列(覆蓋索引),那么這種情況會(huì)查詢很快。
因?yàn)槔盟饕檎矣袃?yōu)化算法,且數(shù)據(jù)就在查詢索引上面,不用再去找相關(guān)的數(shù)據(jù)地址了,這樣節(jié)省了很多時(shí)間。
另外Mysql中也有相關(guān)的索引緩存,在并發(fā)高的時(shí)候利用緩存就效果更好了。
在我們的例子中,我們知道id字段是主鍵,自然就包含了默認(rèn)的主鍵索引?,F(xiàn)在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最后一頁(yè)的數(shù)據(jù)(利用覆蓋索引,只包含id列),如下:
select id from product limit 866613, 20
查詢時(shí)間為0.2秒,相對(duì)于查詢了所有列的37.44秒,提升了大概100多倍的速度。
那么如果我們也要查詢所有列,有兩種方法,
2.2 利用 id>=的形式:
SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20
查詢時(shí)間為0.2秒,簡(jiǎn)直是一個(gè)質(zhì)的飛躍啊。
2.3 利用join
SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id
總結(jié):
是不是認(rèn)為我沒(méi)說(shuō)理由,原因就是使用select * 的情況下直接用limit 600000,10 掃描的是約60萬(wàn)條數(shù)據(jù),并且是需要回表60W次,也就是說(shuō)大部分性能都耗在隨機(jī)訪問(wèn)上,到頭來(lái)只用到10條數(shù)據(jù),如果先查出來(lái)ID,再關(guān)聯(lián)去查詢記錄,就會(huì)快很多,因?yàn)樗饕檎曳蠗l件的ID很快,然后再回表10次。就可以拿到我們想要的數(shù)據(jù)。
到此這篇關(guān)于為什么MySQL分頁(yè)用limit會(huì)越來(lái)越慢的文章就介紹到這了,更多相關(guān)MySQL分頁(yè)limit慢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- MySql分頁(yè)時(shí)使用limit+order by會(huì)出現(xiàn)數(shù)據(jù)重復(fù)問(wèn)題解決
- mysql分頁(yè)的limit參數(shù)簡(jiǎn)單示例
- 淺談MySQL分頁(yè)Limit的性能問(wèn)題
- MySQL分頁(yè)Limit的優(yōu)化過(guò)程實(shí)戰(zhàn)
- mysql分頁(yè)性能探索
- 淺析Oracle和Mysql分頁(yè)的區(qū)別
- SpringMVC+Mybatis實(shí)現(xiàn)的Mysql分頁(yè)數(shù)據(jù)查詢的示例
- 利用Spring MVC+Mybatis實(shí)現(xiàn)Mysql分頁(yè)數(shù)據(jù)查詢的過(guò)程詳解
- mysql分頁(yè)時(shí)offset過(guò)大的Sql優(yōu)化經(jīng)驗(yàn)分享
- MySQL分頁(yè)分析原理及提高效率
- MySQL優(yōu)化案例系列-mysql分頁(yè)優(yōu)化
- 你應(yīng)該知道的PHP+MySQL分頁(yè)那點(diǎn)事
- MYSQL分頁(yè)limit速度太慢的優(yōu)化方法
- MySQL分頁(yè)優(yōu)化
- MySQL分頁(yè)技術(shù)、6種分頁(yè)方法總結(jié)
- 8種MySQL分頁(yè)方法總結(jié)
- mysql分頁(yè)原理和高效率的mysql分頁(yè)查詢語(yǔ)句
- MySQL的幾種分頁(yè)方式,你知道幾種方式
相關(guān)文章
Mysql字符串截取函數(shù)SUBSTRING的用法說(shuō)明
今天建視圖時(shí),用到了MySQL中的字符串截取,很是方便。2011-06-06
Mysql inner join on的用法實(shí)例(必看)
下面小編就為大家?guī)?lái)一篇Mysql inner join on的用法實(shí)例(必看)。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-03-03
MySQL性能優(yōu)化的一些技巧幫助你的數(shù)據(jù)庫(kù)
你完成了你的品牌新的應(yīng)用程序,一切工作就像一個(gè)魅力;突然間,一個(gè)大爆發(fā)的用戶你的MySQL服務(wù)器,您的網(wǎng)站已關(guān)閉,是什么問(wèn)題導(dǎo)致的呢?以下是MySQL性能優(yōu)化的一些技巧,將幫助你,幫助你的數(shù)據(jù)庫(kù)2013-01-01
Navicat工具中設(shè)置MySQL允許外部訪問(wèn)
默認(rèn)情況下MySQL只允許本地登錄,即只能在安裝MySQL環(huán)境所在的主機(jī)下訪問(wèn),這篇文章主要給大家介紹了關(guān)于Navicat工具中設(shè)置MySQL允許外部訪問(wèn)的相關(guān)資料,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-04-04

