如何提高M(jìn)ySQL Limit查詢性能的方法詳解
在MySQL數(shù)據(jù)庫(kù)操作中,我們?cè)谧鲆恍┎樵兊臅r(shí)候總希望能避免數(shù)據(jù)庫(kù)引擎做全表掃描,因?yàn)槿頀呙钑r(shí)間長(zhǎng),而且其中大部分掃描對(duì)客戶端而言是沒(méi)有意義的。其實(shí)我們可以使用Limit關(guān)鍵字來(lái)避免全表掃描的情況,從而提高效率。
有個(gè)幾千萬(wàn)條記錄的表 on MySQL 5.0.x,現(xiàn)在要讀出其中幾十萬(wàn)萬(wàn)條左右的記錄。常用方法,依次循環(huán):
select * from mytable where index_col = xxx limit offset, limit;
經(jīng)驗(yàn):如果沒(méi)有blob/text字段,單行記錄比較小,可以把 limit 設(shè)大點(diǎn),會(huì)加快速度。
問(wèn)題:頭幾萬(wàn)條讀取很快,但是速度呈線性下降,同時(shí) mysql server cpu 99% ,速度不可接受。
調(diào)用 explain select * from mytable where index_col = xxx limit offset, limit; 顯示 type = ALL
在 MySQL optimization 的文檔寫(xiě)到"All"的解釋
A full table scan is done for each combination of rows from the previous tables. This is normally not good if the table is the first table not marked const, and usually very bad in all other cases. Normally, you can avoid ALL by adding indexes that allow row retrieval from the table based on constant values or column values from earlier tables.
看樣子對(duì)于 all, mysql 就使用比較笨的方法,那就改用 range 方式? 因?yàn)?id 是遞增的,也很好修改 sql 。
select * from mytable where id > offset and id < offset + limit and index_col = xxx
explain 顯示 type = range,結(jié)果速度非常理想,返回結(jié)果快了幾十倍。
Limit語(yǔ)法:
SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
LIMIT子句可以被用于強(qiáng)制 SELECT 語(yǔ)句返回指定的記錄數(shù)。LIMIT接受一個(gè)或兩個(gè)數(shù)字參數(shù)。參數(shù)必須是一個(gè)整數(shù)常量。
如果給定兩個(gè)參數(shù),第一個(gè)參數(shù)指定第一個(gè)返回記錄行的偏移量,第二個(gè)參數(shù)指定返回記錄行的最大數(shù)目。初始記錄行的偏移量是 0(而不是 1)。
為了與 PostgreSQL 兼容,MySQL 也支持句法:LIMIT # OFFSET #。
mysql> SELECT * FROM table LIMIT 5,10; //檢索記錄行6-15 //為了檢索從某一個(gè)偏移量到記錄集的結(jié)束所有的記錄行,可以指定第二個(gè)參數(shù)為-1 mysql> SELECT * FROM table LIMIT 95,-1; //檢索記錄行96-last //如果只給定一個(gè)參數(shù),它表示返回最大的記錄行數(shù)目,換句話說(shuō),LIMIT n 等價(jià)于 LIMIT 0,n mysql> SELECT * FROM table LIMIT 5; //檢索前5個(gè)記錄行
MySQL的limit給分頁(yè)帶來(lái)了極大的方便,但數(shù)據(jù)量一大的時(shí)候,limit的性能就急劇下降。同樣是取10條數(shù)據(jù),下面兩句就不是一個(gè)數(shù)量級(jí)別的。
select * from table limit 10000,10 select * from table limit 0,10
文中不是直接使用limit,而是首先獲取到offset的id然后直接使用limit size來(lái)獲取數(shù)據(jù)。根據(jù)他的數(shù)據(jù),明顯要好于直接使用limit。
這里我具體使用數(shù)據(jù)分兩種情況進(jìn)行測(cè)試。
1、offset比較小的時(shí)候:
select * from table limit 10,10 //多次運(yùn)行,時(shí)間保持在0.0004-0.0005之間 Select * From table Where vid >=(Select vid From table Order By vid limit 10,1) limit 10 //多次運(yùn)行,時(shí)間保持在0.0005-0.0006之間,主要是0.0006
結(jié)論:偏移offset較小的時(shí)候,直接使用limit較優(yōu)。這個(gè)顯然是子查詢的原因。
2、offset大的時(shí)候:
select * from table limit 10000,10 //多次運(yùn)行,時(shí)間保持在0.0187左右 Select * From table Where vid >=(Select vid From table Order By vid limit 10000,1) limit 10 //多次運(yùn)行,時(shí)間保持在0.0061左右,只有前者的1/3??梢灶A(yù)計(jì)offset越大,后者越優(yōu)。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- MySQL查詢優(yōu)化:LIMIT 1避免全表掃描提高查詢效率
- 為什么MySQL分頁(yè)用limit會(huì)越來(lái)越慢
- mysql優(yōu)化之query_cache_limit參數(shù)說(shuō)明
- 詳解Mysql order by與limit混用陷阱
- mysql分頁(yè)的limit參數(shù)簡(jiǎn)單示例
- MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案
- Mysql排序和分頁(yè)(order by&limit)及存在的坑
- MySQL limit使用方法以及超大分頁(yè)問(wèn)題解決
- mysql踩坑之limit與sum函數(shù)混合使用問(wèn)題詳解
- MySQL Limit性能優(yōu)化及分頁(yè)數(shù)據(jù)性能優(yōu)化詳解
- 淺談mysql使用limit分頁(yè)優(yōu)化方案的實(shí)現(xiàn)
- MySQL中l(wèi)imit對(duì)查詢語(yǔ)句性能的影響
相關(guān)文章
redis服務(wù)器環(huán)境下mysql實(shí)現(xiàn)lnmp架構(gòu)緩存
這篇文章主要介紹了redis系統(tǒng)環(huán)境下mysql實(shí)現(xiàn)lnmp架構(gòu)緩存,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-07-07
MySQL產(chǎn)生隨機(jī)數(shù)并連接字符串的方法示例
這篇文章主要介紹了MySQL產(chǎn)生隨機(jī)數(shù)并連接字符串的方法,簡(jiǎn)單分析了相關(guān)函數(shù),并結(jié)合實(shí)例形式給出了相應(yīng)的SQL語(yǔ)句實(shí)現(xiàn)方法,需要的朋友可以參考下2017-05-05
Linux系統(tǒng)下Mysql使用簡(jiǎn)單教程(一)
這篇文章主要介紹了Linux系統(tǒng)下Mysql使用簡(jiǎn)單教程(一)的相關(guān)資料,需要的朋友可以參考下2016-05-05
Centos6.5 編譯安裝mysql 5.6.16 詳細(xì)教程
這篇文章主要為大家分享了Centos6.5編譯安裝mysql 5.6.16詳細(xì)教程,感興趣的小伙伴們可以參考一下2016-08-08
MySQL存儲(chǔ)引擎MyISAM與InnoDB的9點(diǎn)區(qū)別
這篇文章主要介紹了MySQL存儲(chǔ)引擎MyISAM與InnoDB的9點(diǎn)區(qū)別,寫(xiě)給有選擇困難癥的同學(xué),需要的朋友可以參考下2014-08-08
MySQL請(qǐng)求處理全流程之如何從SQL語(yǔ)句到數(shù)據(jù)返回
這篇文章主要介紹了MySQL請(qǐng)求處理全流程之如何從SQL語(yǔ)句到數(shù)據(jù)返回,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2025-03-03
連接MySql速度慢的解決方法(skip-name-resolve)
這篇文章主要介紹了連接MySql速度慢的解決方法(skip-name-resolve),需要的朋友可以參考下2015-09-09
MySQL學(xué)習(xí)筆記5:修改表(alter table)
我們?cè)趧?chuàng)建表的過(guò)程中難免會(huì)考慮不周,因此后期會(huì)修改表修改表需要用到alter table修改表語(yǔ)句,接下來(lái)詳細(xì)介紹,需要的朋友可以參考下2013-01-01

