解讀redis?slaveof命令執(zhí)行后為什么需要清庫重新同步
在 Redis 中,執(zhí)行 SLAVEOF(或 REPLICAOF)命令后,從節(jié)點需要清空現(xiàn)有數(shù)據(jù)并重新同步的主要原因如下:
1. 保證數(shù)據(jù)一致性
核心目標(biāo):確保從節(jié)點的數(shù)據(jù)與主節(jié)點 完全一致。
問題場景:
- 如果從節(jié)點之前有其他數(shù)據(jù)(例如曾是其他主節(jié)點的副本,或自身是獨立主節(jié)點),直接保留數(shù)據(jù)會導(dǎo)致新舊數(shù)據(jù)混合。
- 主節(jié)點的數(shù)據(jù)狀態(tài)可能與從節(jié)點存在沖突(例如相同的鍵但值不同),導(dǎo)致數(shù)據(jù)邏輯錯誤。
2. 全量同步的觸發(fā)條件
當(dāng)從節(jié)點執(zhí)行 SLAVEOF 連接到主節(jié)點時,Redis 會觸發(fā)以下兩種同步機(jī)制:
(1) 全量同步(Full Sync)
觸發(fā)條件:
- 從節(jié)點是首次連接到主節(jié)點。
- 主從的復(fù)制 ID 不匹配(例如主節(jié)點發(fā)生過故障轉(zhuǎn)移)。
- 從節(jié)點的復(fù)制偏移量(
repl_offset) 不在主節(jié)點的復(fù)制積壓緩沖區(qū)(repl_backlog)范圍內(nèi)。
操作流程:
- 主節(jié)點生成當(dāng)前數(shù)據(jù)的 RDB 快照,發(fā)送給從節(jié)點。
- 從節(jié)點清空自身數(shù)據(jù),加載 RDB 文件。
- 主節(jié)點將生成 RDB 期間的新寫入命令緩存,待 RDB 傳輸完成后發(fā)送給從節(jié)點(增量同步)。
(2) 部分同步(Partial Sync)
觸發(fā)條件:
- 主從的復(fù)制 ID 一致。
- 從節(jié)點的復(fù)制偏移量仍在主節(jié)點的
repl_backlog范圍內(nèi)。
操作流程:
- 主節(jié)點直接發(fā)送從節(jié)點缺失的增量命令(無需清空數(shù)據(jù))。
- 從節(jié)點應(yīng)用這些命令,追上主節(jié)點狀態(tài)。
3. 清空數(shù)據(jù)的必要性
- 全量同步必須清空數(shù)據(jù):
從節(jié)點需要以主節(jié)點的 RDB 快照為基準(zhǔn)重建數(shù)據(jù)集,若保留原有數(shù)據(jù),會導(dǎo)致數(shù)據(jù)不一致。
# 示例:從節(jié)點加載 RDB 前自動執(zhí)行 FLUSHALL [從節(jié)點日志] MASTER <-> REPLICA sync: Flushing old data
- 部分同步無需清空數(shù)據(jù):
增量命令是基于從節(jié)點已有的數(shù)據(jù)狀態(tài)追加的,因此保留數(shù)據(jù)是安全的。
4. 數(shù)據(jù)一致性的風(fēng)險
| 場景 | 風(fēng)險 |
|---|---|
| 不清空數(shù)據(jù) + 全量同步 | 主節(jié)點 RDB 數(shù)據(jù)與從節(jié)點舊數(shù)據(jù)混合,導(dǎo)致鍵覆蓋、過期時間錯亂等問題。 |
| 不清空數(shù)據(jù) + 部分同步 | 僅當(dāng)復(fù)制 ID 和偏移量匹配時安全,否則數(shù)據(jù)可能不完整或邏輯沖突。 |
如何避免全量同步(減少清庫開銷)
(1) 合理配置 repl-backlog-size
- 增大主節(jié)點的復(fù)制積壓緩沖區(qū)(默認(rèn) 1MB),允許更長時間的斷線后仍能觸發(fā)部分同步:
# 主節(jié)點配置(redis.conf) repl-backlog-size 64mb # 根據(jù)業(yè)務(wù)寫入量調(diào)整
(2) 避免頻繁主從切換
- 減少主節(jié)點故障轉(zhuǎn)移次數(shù)(如優(yōu)化 Sentinel 參數(shù)
down-after-milliseconds),避免復(fù)制 ID 變更。
(3) 持久化復(fù)制 ID 和偏移量
- 從節(jié)點重啟時,若復(fù)制 ID 和偏移量仍有效,可觸發(fā)部分同步:
# 從節(jié)點配置(redis.conf) repl-diskless-sync no # 啟用磁盤備份(默認(rèn))
示例:同步流程的日志分析
(1) 全量同步日志
# 主節(jié)點日志
[19042] 01 Jan 12:00:00.123 * Replica 127.0.0.1:6380 asks for synchronization
[19042] 01 Jan 12:00:00.123 * Full resync requested by replica 127.0.0.1:6380
[19042] 01 Jan 12:00:00.123 * Starting BGSAVE for SYNC with target: disk# 從節(jié)點日志
[19043] 01 Jan 12:00:00.125 * MASTER <-> REPLICA sync started
[19043] 01 Jan 12:00:00.125 * MASTER <-> REPLICA sync: Flushing old data
[19043] 01 Jan 12:00:00.125 * MASTER <-> REPLICA sync: Loading DB in memory
(2) 部分同步日志
# 主節(jié)點日志
[19042] 01 Jan 12:00:00.123 * Replica 127.0.0.1:6380 requests partial resynchronization
[19042] 01 Jan 12:00:00.123 * Partial resynchronization request accepted# 從節(jié)點日志
[19043] 01 Jan 12:00:00.125 * MASTER <-> REPLICA sync: Master accepted a Partial Resynchronization
總結(jié)
- 全量同步必須清空數(shù)據(jù):確保從節(jié)點以主節(jié)點的 RDB 快照為基準(zhǔn),避免數(shù)據(jù)不一致。
- 部分同步無需清空:基于復(fù)制積壓緩沖區(qū)的增量命令追加,保留數(shù)據(jù)安全。
- 優(yōu)化建議:通過調(diào)整
repl-backlog-size和減少主從切換頻率,盡量避免全量同步,降低清庫對服務(wù)的影響。
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Redis整合SpringBoot的RedisTemplate實現(xiàn)類(實例詳解)
這篇文章主要介紹了Redis整合SpringBoot的RedisTemplate實現(xiàn)類,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-01-01
Jackson2JsonRedisSerializer和GenericJackson2JsonRedisSerializ
本文主要介紹了Jackson2JsonRedisSerializer和GenericJackson2JsonRedisSerializer區(qū)別,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04
SpringBoot3+Redis實現(xiàn)分布式鎖的配置方法
這篇文章主要介紹了SpringBoot3+Redis實現(xiàn)分布式鎖,本文通過實例代碼給大家介紹的非常詳細(xì),感興趣的朋友跟隨小編一起看看吧2024-07-07
聊聊使用RedisTemplat實現(xiàn)簡單的分布式鎖的問題
這篇文章主要介紹了使用RedisTemplat實現(xiàn)簡單的分布式鎖問題,文中給大家介紹在SpringBootTest中編寫測試模塊的詳細(xì)代碼,需要的朋友可以參考下2021-11-11
window環(huán)境redis通過AOF恢復(fù)數(shù)據(jù)的方法
這篇文章主要介紹了window環(huán)境redis通過AOF恢復(fù)數(shù)據(jù)的方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-11-11

