Redis 底層運(yùn)行機(jī)制與原理流程分析
一、核心架構(gòu):事件驅(qū)動(dòng)與單線程模型
Redis 采用 單線程事件驅(qū)動(dòng)架構(gòu),通過 epoll/kqueue 實(shí)現(xiàn) I/O 多路復(fù)用。其核心事件循環(huán)(aeEventLoop)持續(xù)監(jiān)聽兩類事件:
- 文件事件:Socket 可讀/可寫狀態(tài)(客戶端請求/響應(yīng))
- 時(shí)間事件:定時(shí)任務(wù)(如過期鍵清理、持久化觸發(fā))
工作流程:主線程通過 epoll_wait() 等系統(tǒng)調(diào)用獲取就緒事件 → 調(diào)用對應(yīng)處理器(如 readQueryFromClient 解析命令)→ 執(zhí)行命令 → 返回結(jié)果。這種設(shè)計(jì)避免了多線程鎖競爭,但需確保單線程操作高效。
二、內(nèi)存數(shù)據(jù)結(jié)構(gòu)與動(dòng)態(tài)編碼
Redis 通過 redisObject 結(jié)構(gòu)統(tǒng)一管理數(shù)據(jù),其字段包括:
- type:數(shù)據(jù)類型(String/List 等)
- encoding:內(nèi)部編碼(如 ziplist/hashtable)
- lru:LRU 時(shí)間戳(內(nèi)存淘汰用)
- refcount:引用計(jì)數(shù)(內(nèi)存回收依據(jù))
- ptr:指向?qū)嶋H數(shù)據(jù)的指針
動(dòng)態(tài)編碼優(yōu)化策略:
| 數(shù)據(jù)類型 | 編碼方式 | 觸發(fā)條件 | 性能特點(diǎn) |
|---|---|---|---|
| String | int/embstr/raw | 整數(shù) → int;≤44字節(jié) → embstr;大對象 → raw | embstr 減少內(nèi)存分配次數(shù) |
| List | quicklist | Redis 3.2+ 替代 ziplist/linkedlist,由 ziplist 節(jié)點(diǎn)+雙向鏈表組成 | 平衡內(nèi)存與操作效率 |
| Hash | ziplist/hashtable | 元素少且值小 → ziplist;超閾值 → hashtable | 節(jié)省小對象內(nèi)存 |
| Set | intset/hashtable | 全為整數(shù) → intset;否則 → hashtable | 整數(shù)集合壓縮存儲(chǔ) |
| ZSet | ziplist/skiplist | 元素少且分?jǐn)?shù)小 → ziplist;否則 → skiplist | 跳表支持快速范圍查詢 |
| Stream | radix tree + listpack | 基數(shù)樹索引消息 ID,listpack 存儲(chǔ)消息內(nèi)容 | 高效支持消息遍歷 |
編碼轉(zhuǎn)換:當(dāng)數(shù)據(jù)量超過閾值(如 ziplist 大小 > hash-max-ziplist-entries)時(shí)自動(dòng)切換編碼。
三、內(nèi)存管理與碎片整理
1. 內(nèi)存分配器
默認(rèn)使用 jemalloc,其優(yōu)勢:
- 按內(nèi)存大小分級(jí)(small/large/huge)分配
- 減少外部碎片,碎片率通常 ≈1.03
- 支持后臺(tái)線程異步釋放內(nèi)存(Lazy Free)
2. 內(nèi)存淘汰策略
當(dāng)達(dá)到 maxmemory 限制時(shí)觸發(fā):
- LRU/LFU 近似算法:隨機(jī)采樣 5 個(gè)鍵(maxmemory-samples配置),淘汰最符合策略的鍵
- LFU 實(shí)現(xiàn):用概率計(jì)數(shù)器記錄訪問頻率,并隨時(shí)間衰減
3. 主動(dòng)碎片整理(Active Defrag)
- 觸發(fā):碎片率 > active-defrag-threshold-lower(默認(rèn) 10%)
- 過程:掃描內(nèi)存 → 復(fù)制碎片化對象到新位置 → 釋放原內(nèi)存
- 限制:需配合 jemalloc,每周期 CPU 占用 ≤ active-defrag-cycle-max(默認(rèn) 25%)
四、持久化機(jī)制:RDB 與 AOF
1. RDB(快照持久化)
- 流程:fork() 子進(jìn)程 → 子進(jìn)程遍歷內(nèi)存生成 RDB 文件 → 替換舊文件
- COW 優(yōu)化:父進(jìn)程繼續(xù)處理請求,僅當(dāng)內(nèi)存頁被修改時(shí)復(fù)制
- 觸發(fā):save(阻塞)、bgsave(后臺(tái))、配置自動(dòng)觸發(fā)(如 save 900 1)
2. AOF(日志持久化)
- 流程:所有寫命令追加到 AOF 緩沖區(qū) → 根據(jù)策略(always/everysec/no)同步至磁盤
- 重寫:fork() 子進(jìn)程生成精簡版 AOF(只保留當(dāng)前數(shù)據(jù)狀態(tài))
- 混合持久化(Redis 4.0+):AOF 重寫時(shí)嵌入 RDB 格式頭,加速恢復(fù)
性能對比:
| 特性 | RDB | AOF |
|---|---|---|
| 文件大小 | 小(二進(jìn)制) | 大(文本命令) |
| 恢復(fù)速度 | 快 | 慢 |
| 數(shù)據(jù)安全 | 可能丟失快照間數(shù)據(jù) | 最多丟失 1 秒數(shù)據(jù) |
五、復(fù)制與集群架構(gòu)
1. 主從復(fù)制流程

- 復(fù)制積壓緩沖區(qū):主節(jié)點(diǎn)維護(hù)環(huán)形緩沖區(qū)(默認(rèn) 1MB),保存近期寫命令
- 無磁盤復(fù)制:RDB 數(shù)據(jù)直接流式傳輸?shù)綇墓?jié)點(diǎn),跳過磁盤 I/O(repl-diskless-sync yes)
2. 集群(Cluster)原理
- 分片機(jī)制:16384 個(gè)哈希槽均勻分布到節(jié)點(diǎn)
- Gossip 協(xié)議:節(jié)點(diǎn)間定期交換狀態(tài)(PING/PONG/MEET/FAIL 消息)
- 故障轉(zhuǎn)移:當(dāng)主節(jié)點(diǎn)下線,從節(jié)點(diǎn)發(fā)起投票選舉新主節(jié)點(diǎn)
六、高級(jí)特性實(shí)現(xiàn)
1. Lua 腳本引擎
- 原子性:單線程執(zhí)行腳本期間阻塞其他命令
- 執(zhí)行環(huán)境:偽客戶端模式調(diào)用 Redis 命令
- 復(fù)制:主節(jié)點(diǎn)傳播 EVALSHA + 腳本 SHA1,從節(jié)點(diǎn)通過 repl_scriptcache_dict 緩存
2. I/O 多線程(Redis 6.0+)
- 線程分工:I/O 線程負(fù)責(zé)網(wǎng)絡(luò)讀寫,主線程執(zhí)行命令
- 配置:io-threads 4 啟用線程,io-threads-do-reads yes 啟用讀線程化
- 效果:吞吐量提升 2 倍,但命令仍串行執(zhí)行保證正確性
3. 模塊系統(tǒng)
- 加載:MODULE LOAD /path/to/module.so
- API:RedisModule_CreateCommand 注冊新命令
- 交互:通過模塊 API 訪問核心數(shù)據(jù)結(jié)構(gòu)(如 RedisModule_StringSet)
總結(jié)
Redis 的底層運(yùn)行機(jī)制是一個(gè)精心設(shè)計(jì)的系統(tǒng)工程:
- 以內(nèi)存為核心,提供了極快的訪問速度。
- 精巧的數(shù)據(jù)結(jié)構(gòu),在速度與內(nèi)存之間取得了最佳平衡。
- 單線程 Reactor 模型,避免了并發(fā)復(fù)雜性,配合 I/O 多路復(fù)用輕松應(yīng)對高并發(fā)。
- 靈活可配的持久化方案(RDB, AOF, 混合),滿足了不同場景下的數(shù)據(jù)安全需求。
- 漸進(jìn)式的優(yōu)化策略(漸進(jìn)式 rehash、惰性刪除、后臺(tái)線程化),保證了服務(wù)的平滑運(yùn)行。
到此這篇關(guān)于Redis 底層運(yùn)行機(jī)制與原理淺析的文章就介紹到這了,更多相關(guān)Redis 底層運(yùn)行機(jī)制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Redis實(shí)現(xiàn)排行榜及相同積分按時(shí)間排序功能的實(shí)現(xiàn)
這篇文章主要介紹了Redis實(shí)現(xiàn)排行榜及相同積分按時(shí)間排序,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-08-08
kubernetes環(huán)境部署單節(jié)點(diǎn)redis數(shù)據(jù)庫的方法
這篇文章主要介紹了kubernetes環(huán)境部署單節(jié)點(diǎn)redis數(shù)據(jù)庫的方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01
查看redis占用內(nèi)存的實(shí)現(xiàn)方法
這篇文章主要介紹了查看redis占用內(nèi)存的實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01

