2. 使用Redis命令進(jìn)行排查

查看集群節(jié)點(diǎn)與槽位分布：

redis-cli -c -h <host> -p <port> cluster nodes

觀察每個(gè)節(jié)點(diǎn)后面的 slots 范圍是否均勻，以及 connected 連接數(shù)。

分析節(jié)點(diǎn)內(nèi)存與Key數(shù)：

redis-cli -c -h <host> -p <port> info memory | grep used_memory_human
redis-cli -c -h <host> -p <port> info keyspace

可以編寫腳本遍歷所有節(jié)點(diǎn)，對(duì)比數(shù)據(jù)。

• 找出大Key：
  • 使用 redis-cli --bigkeys 命令（在集群模式下需對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行）：

redis-cli -h <host> -p <port> --bigkeys -i 0.1

• 使用官方工具 redis-rdb-tools： 對(duì)RDB文件進(jìn)行分析，生成內(nèi)存報(bào)告，最準(zhǔn)確。
• 找出熱點(diǎn)Key：
  • 使用 redis-cli --hotkeys 命令（需要先開啟 maxmemory-policy 為 LFU）：

redis-cli -h <host> -p <port> --hotkeys

          使用 MONITOR 命令（生產(chǎn)環(huán)境慎用，臨時(shí)采樣）： 短暫運(yùn)行，觀察哪些Key被頻繁操作。

          基于代理或客戶端埋點(diǎn)： 在應(yīng)用端或代理層（如Codis Proxy、Twemproxy）統(tǒng)計(jì)Key的訪問頻率。

四、解決方案與最佳實(shí)踐

1. 解決存儲(chǔ)傾斜

• 拆分大Key：
• 示例： 一個(gè)存儲(chǔ)了100萬用戶ID的Set all_users，可以拆分為 all_users:shard1、all_users:shard2 ... 等多個(gè)子Key，通過哈希將用戶ID分散到不同子Key中。
• 注意： 拆分會(huì)增加客戶端邏輯的復(fù)雜度。
• 優(yōu)化數(shù)據(jù)結(jié)構(gòu)：
  • 例如，不用String存儲(chǔ)大JSON，改用Hash；使用HyperLogLog代替Set進(jìn)行基數(shù)統(tǒng)計(jì)。
• 調(diào)整槽位分布：
  • 對(duì)于Redis Cluster，可以使用 redis-cli --cluster rebalance 命令，在節(jié)點(diǎn)間重新均衡槽位。但這只能均衡槽位數(shù)量，無法解決因大Key或Hash Tag導(dǎo)致的單個(gè)槽位內(nèi)數(shù)據(jù)過大的問題。
• 規(guī)范使用Hash Tag：
• 僅對(duì)有強(qiáng)關(guān)聯(lián)、需要共同操作的Key使用Hash Tag。例如，確保一個(gè)用戶會(huì)話的多個(gè)Key在同一個(gè)節(jié)點(diǎn)。避免濫用。

2. 解決請(qǐng)求傾斜（熱點(diǎn)Key）

• 本地緩存：
• 在應(yīng)用層（如Guava、Caffeine）或靠近應(yīng)用的緩存（如Sidecar）中對(duì)熱點(diǎn)Key進(jìn)行緩存，大幅降低對(duì)Redis的直接請(qǐng)求。注意設(shè)置合理的過期時(shí)間和更新策略。
• 讀寫分離：
• 如果熱點(diǎn)主要是讀請(qǐng)求，可以為該熱點(diǎn)Key所在的Redis節(jié)點(diǎn)配置從庫(kù)（Replica），將讀流量分散到從庫(kù)上。
• Key分片：
• 與拆分大Key類似，將一個(gè)邏輯熱點(diǎn)Key（如 hot_news）拆分為多個(gè)物理Key（如 hot_news:1、hot_news:2）?？蛻舳嗽L問時(shí)，通過一個(gè)確定性規(guī)則（如 用戶ID % 分片數(shù)）決定訪問哪個(gè)分片。這本質(zhì)上是將壓力從單Key分?jǐn)偟蕉喙?jié)點(diǎn)。
• 使用 RedisGears/Actions：
• 利用Redis的服務(wù)端腳本能力，在Redis內(nèi)部實(shí)現(xiàn)復(fù)雜的邏輯，減少網(wǎng)絡(luò)往返和客戶端壓力。

3. 通用與預(yù)防性措施

• 容量規(guī)劃與監(jiān)控先行： 在上線前預(yù)估數(shù)據(jù)量和訪問模式，建立完善的監(jiān)控告警體系。
• 數(shù)據(jù)預(yù)熱： 在活動(dòng)（如大促）開始前，將預(yù)期可能成為熱點(diǎn)或主要的數(shù)據(jù)加載到緩存，并使其均勻分布。
• 客戶端優(yōu)化：
  • 使用連接池，并確保連接均勻分布到集群節(jié)點(diǎn)。
  • 避免在線上使用阻塞式或高復(fù)雜度命令（KEYS、FLUSHALL、HGETALL 等），使用 SCAN 系列命令替代。
• 升級(jí)架構(gòu)：
  • 如果業(yè)務(wù)增長(zhǎng)迅猛，可以考慮使用更高級(jí)的分布式緩存方案（如阿里云Tair、騰訊云Redis企業(yè)版），它們內(nèi)置了更好的負(fù)載均衡和熱點(diǎn)發(fā)現(xiàn)能力。

五、總結(jié)

Redis數(shù)據(jù)傾斜的本質(zhì)是數(shù)據(jù)或流量在分布式系統(tǒng)中分布不均。解決思路可以概括為：

• 監(jiān)控發(fā)現(xiàn)： 建立指標(biāo)，快速定位是存儲(chǔ)問題還是請(qǐng)求問題。
• 精準(zhǔn)分析： 使用工具定位到大Key或熱點(diǎn)Key。
• 對(duì)癥下藥：
  • 對(duì)大Key：拆。
  • 對(duì)熱點(diǎn)Key：分（分片）或擋（本地緩存/讀寫分離）。
  • 對(duì)分布不均：調(diào)（槽位重平衡）和規(guī)（規(guī)范Hash Tag使用）。
• 預(yù)防為主： 在系統(tǒng)設(shè)計(jì)和開發(fā)階段就充分考慮數(shù)據(jù)分布和訪問模式。

        通過系統(tǒng)性的監(jiān)控、分析和優(yōu)化，可以有效地管理和緩解Redis數(shù)據(jù)傾斜問題，保證緩存服務(wù)的穩(wěn)定和高性能。

到此這篇關(guān)于Redis 數(shù)據(jù)傾斜問題詳解的文章就介紹到這了,更多相關(guān)Redis 數(shù)據(jù)傾斜內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！