高并發(fā)狀態(tài)下Replace Into造成的死鎖問(wèn)題解決
1.問(wèn)題出現(xiàn):
在測(cè)試階段,大數(shù)據(jù)并發(fā)的情況下,發(fā)現(xiàn)sql語(yǔ)句造成表的死鎖,過(guò)一段時(shí)間,死鎖消失。于是進(jìn)行排查
報(bào)錯(cuò)如下:

對(duì)應(yīng)的sql語(yǔ)句如下:
@Insert("replace into ${tableName}( windcode,date, \n" +
" code, high, open, low, \n" +
" `close`, volume, turnover,gtm_modify) "
+ "values (#{obj.windcode},#{obj.date},#{obj.code},#{obj.high},#{obj.open},#{obj.low},#{obj.close},#{obj.volume},#{obj.turnover},#{obj.updateTime})" )
int insertOne(@Param("obj") KDTO obj, @Param("tableName") String tableName);在排除了數(shù)據(jù)問(wèn)題和線程重復(fù)調(diào)用以后,我們關(guān)注了一下sql語(yǔ)句本身。 看了網(wǎng)上很多經(jīng)驗(yàn)分享,覺(jué)得問(wèn)題可能出現(xiàn)在 Replace Into 語(yǔ)句上。
2.分析解決
首先我們分析一下為什么并發(fā)replace into導(dǎo)致MySQL死鎖
Replace into 一般作用是,當(dāng)存在沖突時(shí),會(huì)把舊記錄替換成新的記錄。也就是說(shuō)這條語(yǔ)句執(zhí)行,分為了兩個(gè)大步:判斷和執(zhí)行
1.判斷:
首先判斷我們需要操作的記錄是否存在(根據(jù)主鍵或者唯一索引判斷)
2.操作:
- 針對(duì)不存在的記錄,語(yǔ)句會(huì)執(zhí)行insert,插入操作。
- 針對(duì)已經(jīng)存在的記錄,語(yǔ)句可以拆分為delete+insert操作
測(cè)試:
建立表

插入數(shù)據(jù):

我們使用replace into語(yǔ)句去執(zhí)行一個(gè)已經(jīng)存在的數(shù)據(jù):

可以清楚的發(fā)現(xiàn),影響的行數(shù)是兩行

第一行的數(shù)據(jù)被修改了

我們使用replace into語(yǔ)句去執(zhí)行一個(gè)不存在的數(shù)據(jù):

可以清楚的發(fā)現(xiàn),影響的行數(shù)是一行

執(zhí)行了插入操作:

邏輯非常的清晰,但是這種單條sql語(yǔ)句在什么情況下會(huì)出現(xiàn)死鎖呢?我們就要去考慮這個(gè)加鎖的時(shí)機(jī)。
正常的插入邏輯是:
- 首先插入聚集索引記錄,在上例中id列為自增列。
- 隨后插入二級(jí)索引num,由于其是唯一索引,在檢查duplicate key時(shí),為其加上類型為L(zhǎng)OCK_X的記錄鎖。
發(fā)現(xiàn)錯(cuò)誤:
- 由于檢測(cè)到duplicate key,因此第一步插入的聚集索引記錄需要被回滾掉(row_undo_ins)。
- 從InnoDB層失敗返回到Server層后,收到duplicate key錯(cuò)誤,首先檢索唯一鍵沖突的索引,并對(duì)沖突的索引記錄(及聚集索引記錄)加鎖。
轉(zhuǎn)換模式:
如果發(fā)生uk沖突的索引是最后一個(gè)唯一索引、沒(méi)有外鍵引用、且不存在delete trigger時(shí),使用UPDATE ROW的方式來(lái)解決沖突;
否則,使用DELETE ROW + INSERT ROW的方式解決沖突。
更新記錄:
- 對(duì)于聚集索引,由于PK列發(fā)生變化,采用delete + insert 聚集索引記錄的方式更新。
- 對(duì)于二級(jí)uk索引,同樣采用標(biāo)記刪除 + 插入的方式。
所以死鎖的問(wèn)題多半就會(huì)出現(xiàn)在X記錄鎖上面。
死鎖分析:
所以再多線程高并發(fā)的環(huán)境狀態(tài)下,存在兩個(gè)事務(wù)同時(shí)去獲取一個(gè)記錄的修改的情況:
- 事務(wù)1拿到X記錄鎖,
- 事務(wù)2檢測(cè)到?jīng)_突,獲取X|NK鎖,被事務(wù)1阻塞
- 事務(wù)1檢測(cè)到?jīng)_突,申請(qǐng)獲取S|NK,被事務(wù)2阻塞
| 事務(wù)1 | 事務(wù)2 |
|---|---|
| LOCK_X LOCK_NOT_GAP | - |
| - | LOCK_X-LOCK_NEXT_KEY 阻塞 |
| LOCK_S-LOCK_NEXT_KEY | 死鎖回滾 |
所以在等待執(zhí)行期間sql會(huì)有死鎖報(bào)錯(cuò),高并發(fā)環(huán)境下的死鎖也就出現(xiàn)了,再事務(wù)執(zhí)行完成回滾操作以后,死鎖回滾,也就解釋了死鎖消失的問(wèn)題。
3.解決方案:
經(jīng)過(guò)多方討論,最終決定使用 insetr + ON DUPLICATE KEY UPDATE語(yǔ)句替換高并發(fā)環(huán)境下的Replace Into語(yǔ)句解決死鎖問(wèn)題。
ON DUPLICATE KEY UPDATE語(yǔ)句的作用是:
若該數(shù)據(jù)的主鍵值/ UNIQUE KEY 已經(jīng)在表中存在,則執(zhí)行更新操作, 即UPDATE 后面的操作。
否則插入一條新的記錄。
實(shí)現(xiàn)了Replace Into有相同的查重替換功能,而避免了高并發(fā)的死鎖問(wèn)題。
但是UPDATE操作性能相比DELETE操作會(huì)有一定的性能上的影響,需要后續(xù)測(cè)試跟進(jìn)。
到此這篇關(guān)于高并發(fā)狀態(tài)下Replace Into造成的死鎖問(wèn)題解決的文章就介紹到這了,更多相關(guān)Replace Into死鎖內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MySQL之臨時(shí)表的實(shí)現(xiàn)示例
MySQL臨時(shí)表是存儲(chǔ)在內(nèi)存或者磁盤(pán)上的臨時(shí)數(shù)據(jù)表,它們的生命周期只限于當(dāng)前數(shù)據(jù)庫(kù)會(huì)話,臨時(shí)表的創(chuàng)建和使用方式與普通表類似,本文就詳細(xì)的介紹了MySQL之臨時(shí)表,感興趣的可以了解一下2023-08-08
MySQL時(shí)區(qū)查看及設(shè)置全過(guò)程
在服務(wù)器環(huán)境下,MySQL默認(rèn)時(shí)區(qū)可能是UTC,需注意應(yīng)用時(shí)區(qū)設(shè)置,若查詢條件使用Now()/sysdate(),會(huì)根據(jù)MySQL時(shí)區(qū)查詢,導(dǎo)致時(shí)間錯(cuò)亂,可使用`selectnow()`檢查時(shí)間準(zhǔn)確性,查看和修改MySQL時(shí)區(qū)的方法包括使用命令和修改配置文件2025-01-01
MySQL執(zhí)行.sql?文件的超詳細(xì)教學(xué)指南
和其他數(shù)據(jù)庫(kù)一樣,MySQL也提供了命令執(zhí)行sql腳本文件,方便地進(jìn)行數(shù)據(jù)庫(kù)、表以及數(shù)據(jù)等各種操作,這篇文章主要給大家介紹了關(guān)于MySQL執(zhí)行.sql?文件的超詳細(xì)教學(xué)指南,需要的朋友可以參考下2024-07-07
mysql show processlist 顯示mysql查詢進(jìn)程
processlist命令的輸出結(jié)果顯示了有哪些線程在運(yùn)行,可以幫助識(shí)別出有問(wèn)題的查詢語(yǔ)句,兩種方式使用這個(gè)命令2012-03-03
使用use index優(yōu)化sql查詢的詳細(xì)介紹
本篇文章是對(duì)使用use index優(yōu)化sql查詢進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06
MySQL借助DB實(shí)現(xiàn)分布式鎖思路詳解
這篇文章主要給大家介紹了關(guān)于MySQL借助DB實(shí)現(xiàn)分布式鎖思路的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用MySQL具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10

