Redis全量同步和增量同步原理
全量同步
主從第一次同步是全量同步:也就是說,當(dāng)你主從節(jié)點連接建立后,需要執(zhí)行一次全量同步。那么Redis如何實現(xiàn)全量同步呢?
其實本質(zhì)就是Master 給 slave 發(fā)送其保存的RDB文件。slave讀取RDB文件恢復(fù)數(shù)據(jù)
詳細介紹:

【第一步】slave與master建立連接后,master判斷該slave 是否是第一次建立連接。那么該如何判斷呢?
其實Master和slave都有一個Replication Id,簡稱replid,若id一致說明是已經(jīng)建立過連接了,不需要進行全量同步,則需要進行增量同步。
【第二步】master 執(zhí)行bgsave,生成RDB文件,同時在生成RDB的同時,也會產(chǎn)生一個baklog文件記錄RDB期間的命令,然后將RDB文件發(fā)送給從節(jié)點,從節(jié)點加載RDB文件中的數(shù)據(jù)。至此全量同步已經(jīng)完成。
【第三步】也就是后續(xù)master和slave在進行同步時候就是增量同步。則需要利用之前生成的baklog文件。
【總結(jié)全量同步】
- slave節(jié)點先進行增量同步;
- master節(jié)點判斷replid,發(fā)現(xiàn)不一致,拒絕增量同步;
- master將完整內(nèi)存數(shù)據(jù)生成RDB,發(fā)送RDB到slave;
- slave清空本地數(shù)據(jù), 加載master的RDB;
- master將RDB期間的命令記錄在repl_baklog,并持續(xù)將lgo知道命令發(fā)送給slave;
- slave執(zhí)行接收到的命令,保持與master之間的同步。
增量同步
主從第一次同步是全量同步,但如果slave重啟后同步,此時slave重啟后,slave節(jié)點和master節(jié)點的數(shù)據(jù)之間有落后,因此需要進行增量同步。

【過程】
master節(jié)點和slave節(jié)點中維護了一個環(huán)形數(shù)組(前文提到的repl_baklog)和一個指針為offset。
slave來申請增量同步,帶著replid和offset,然后master根據(jù)獲取offset之后的數(shù)據(jù),將其發(fā)送給slave,slave進行同步。
- 此時會出現(xiàn)一個問題,當(dāng)slave下限太久時,master中存儲的數(shù)據(jù)已經(jīng)超過了這個repl_baklog的上線,因此就需要重新進行全量同步。
通過對Redis主從集群的同步介紹,可以從以下幾個方面來優(yōu)化Redis的主從集群
- 在master中配置repl-diskless-sync yes 啟用無磁盤負責(zé),來避免全量同步時的磁盤IO。(應(yīng)用場景:你的磁盤傳輸比較慢,但是你的網(wǎng)絡(luò)帶寬很大,網(wǎng)絡(luò)狀況極好。)
- Redis單節(jié)點上內(nèi)存占用不要太大。減少RDB文件的大小。
- 適當(dāng)?shù)奶岣遰epl_baklog的大小,盡量slave恢復(fù)后做全量同步。
- 限制一個master上的slave節(jié)點數(shù)量,可以采用主從鏈的形式。

總結(jié)

到此這篇關(guān)于Redis全量同步和增量同步原理的文章就介紹到這了,更多相關(guān)Redis全量和增量同步內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Redis監(jiān)控工具RedisInsight安裝與使用
這篇文章主要為大家介紹了Redis監(jiān)控工具RedisInsight的安裝步驟與使用方法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步2022-03-03
Redis分布式鎖方案設(shè)計之防止訂單重復(fù)提交或支付
這篇文章主要為大家介紹了Redis分布式鎖之防止訂單重復(fù)提交或支付方案設(shè)計示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
如何利用Redis分布式鎖實現(xiàn)控制并發(fā)操作
這篇文章主要介紹了如何利用Redis分布式鎖實現(xiàn)控制并發(fā)操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-09-09
Redis Redisson lock和tryLock的原理分析
這篇文章主要介紹了Redis Redisson lock和tryLock的原理分析,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-04-04

