mysql 隊列 實現(xiàn)并發(fā)讀
更新時間:2012年04月24日 20:39:01 作者:
隊列是常用的數(shù)據(jù)結(jié)構(gòu),基本特點就是先入先出,在事務(wù)處理等方面都要用到它,有的時候是帶有優(yōu)先級的隊列。當隊列存在并發(fā)訪問的時候,比如多線程情況下,就需要鎖機制來保證隊列中的同一個元素不被多次獲取
一個 MySQL 表可以看作是一個隊列,每一行為一個元素。每次查詢得到滿足某個條件的最前面的一行,并將它從表中刪除或者改變它的狀態(tài),使得下次查詢不會得到它。在沒有并發(fā)訪問的情況下,簡單地用 SELECT 得到一行,再用UPDATE(或者DELETE)語句修改之,就可以實現(xiàn)。
SELECT * FROM targets WHERE status='C' LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
如果有并發(fā)訪問,在SELECT和UPDATE語句之間可能會存在其他地SELECT查詢,導(dǎo)致同一行被取出多次。為了保證在并發(fā)情況下仍然能正常工作,一種思路是使用數(shù)據(jù)庫地鎖來防止,就像在多線程環(huán)境下所做地一樣??傊堑牟樵兒托薷臑橐粋€原子操作,不被其它的訪問干擾。MySQL 5 支持存儲過程,可以用它來實現(xiàn)。
單條 UPDATE 語句應(yīng)該原子操作的,可以利用這個特性來保證并發(fā)訪問情況下隊列的正常工作。每次取元素時,先用 UPDATE 修改符合條件的第一行,然后再得到該行??上?UPDATE 語句沒有返回值,重新用普通的SELECT的話又很難找到剛被改過的那條記錄。
這里用到一個小技巧:在 UPDATE 時加上 id=LAST_INSERT_ID(id),再用 SELECT LAST_INSERT_ID() 即可得到剛修改的那條記錄的id。還有一個問題,當表中不存在符合條件的記錄,導(dǎo)致 UPDATE 失敗時,LAST_INSERT_ID() 會保留原來地值不變,因而不能區(qū)分隊列中是否還有元素。
ROW_COUNT() 返回上一個語句影響的行數(shù),把它作為 SELECT 的一個條件,可以幫助解決這個問題。
最后,支持并發(fā)訪問的完整解決方案為:
UPDATE targets SET status='D', id=LAST_INSERT_ID(id) WHERE status='C' LIMIT 1;
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
更新:在實現(xiàn)帶優(yōu)先級的隊列時這種方法有問題,帶有 ORDER BY ... 條件的 UPDATE 語句非常慢,例如:
而單獨查詢和更新則是很快的:
SELECT id FROM targets WHERE status='C' ORDER BY schedule ASC LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
原來這是MySQL的Bug-12915,一年多以前提出來的,雖然關(guān)閉了,卻只解決了部分問題,尚不支持WHERE,見MySQL 5.0.15 的 Changlog。無奈,上面這種巧妙的方法也沒有實用價值了。
最后采用了一種折衷方案,如下:
UPDATE targets, (SELECT id FROM targets WHERE status='C' AND schedule<CURRENT_TIMESTAMP ORDER BY schedule ASC LIMIT 1) tmp SET status='D' WHERE targets.id=LAST_INSERT_ID(tmp.id);
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
復(fù)制代碼 代碼如下:
SELECT * FROM targets WHERE status='C' LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
如果有并發(fā)訪問,在SELECT和UPDATE語句之間可能會存在其他地SELECT查詢,導(dǎo)致同一行被取出多次。為了保證在并發(fā)情況下仍然能正常工作,一種思路是使用數(shù)據(jù)庫地鎖來防止,就像在多線程環(huán)境下所做地一樣??傊堑牟樵兒托薷臑橐粋€原子操作,不被其它的訪問干擾。MySQL 5 支持存儲過程,可以用它來實現(xiàn)。
單條 UPDATE 語句應(yīng)該原子操作的,可以利用這個特性來保證并發(fā)訪問情況下隊列的正常工作。每次取元素時,先用 UPDATE 修改符合條件的第一行,然后再得到該行??上?UPDATE 語句沒有返回值,重新用普通的SELECT的話又很難找到剛被改過的那條記錄。
這里用到一個小技巧:在 UPDATE 時加上 id=LAST_INSERT_ID(id),再用 SELECT LAST_INSERT_ID() 即可得到剛修改的那條記錄的id。還有一個問題,當表中不存在符合條件的記錄,導(dǎo)致 UPDATE 失敗時,LAST_INSERT_ID() 會保留原來地值不變,因而不能區(qū)分隊列中是否還有元素。
ROW_COUNT() 返回上一個語句影響的行數(shù),把它作為 SELECT 的一個條件,可以幫助解決這個問題。
最后,支持并發(fā)訪問的完整解決方案為:
復(fù)制代碼 代碼如下:
UPDATE targets SET status='D', id=LAST_INSERT_ID(id) WHERE status='C' LIMIT 1;
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
更新:在實現(xiàn)帶優(yōu)先級的隊列時這種方法有問題,帶有 ORDER BY ... 條件的 UPDATE 語句非常慢,例如:
復(fù)制代碼 代碼如下:
UPDATE targets SET status='D' WHERE status='C' ORDER BY schedule ASC LIMIT 1;
而單獨查詢和更新則是很快的:
復(fù)制代碼 代碼如下:
SELECT id FROM targets WHERE status='C' ORDER BY schedule ASC LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
原來這是MySQL的Bug-12915,一年多以前提出來的,雖然關(guān)閉了,卻只解決了部分問題,尚不支持WHERE,見MySQL 5.0.15 的 Changlog。無奈,上面這種巧妙的方法也沒有實用價值了。
最后采用了一種折衷方案,如下:
復(fù)制代碼 代碼如下:
UPDATE targets, (SELECT id FROM targets WHERE status='C' AND schedule<CURRENT_TIMESTAMP ORDER BY schedule ASC LIMIT 1) tmp SET status='D' WHERE targets.id=LAST_INSERT_ID(tmp.id);
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
相關(guān)文章
MySQL中無GROUP BY情況下直接使用HAVING語句的問題探究
這篇文章主要介紹了MySQL中無GROUP BY情況下直接使用HAVING語句的問題探究,同時探究了該情況下MAX與MIN功能的使用情況,需要的朋友可以參考下2015-05-05
/var/log/pacct文件導(dǎo)致MySQL啟動失敗的案例分享
這篇文章主要介紹了/var/log/pacct文件導(dǎo)致MySQL啟動失敗的案例分享,這是個比較讓人郁悶的問題,找不到MySQL啟動失敗的原因進可以按此文的方法試一試,需要的朋友可以參考下2015-01-01
MySQL錯誤“Specified key was too long; max key length is 1000 b
今天在為數(shù)據(jù)庫中的某兩個字段設(shè)置unique索引的時候,出現(xiàn)了Specified key was too long; max key length is 1000 bytes錯誤2010-08-08
數(shù)據(jù)庫崩潰,利用備份和日志進行災(zāi)難恢復(fù)
我相信數(shù)據(jù)庫崩潰都不是大家所愿意看到的,但是這種情況發(fā)生時我們要采取補救措施,本文就是介紹了如何利用備份和日志進行災(zāi)難恢復(fù),需要的朋友可以參考下2015-07-07

