Redis中HyperLogLog的使用小結(jié)
Redis 的 HyperLogLog 是一種概率性數(shù)據(jù)結(jié)構(gòu),用于統(tǒng)計(jì)唯一元素的數(shù)量(基數(shù)),比如你想知道一個(gè)網(wǎng)站有多少獨(dú)立訪問用戶(UV)。它的主要優(yōu)點(diǎn)是:內(nèi)存占用極小,無論你添加多少數(shù)據(jù),它通常只占用 12KB 的內(nèi)存。
下面是 HyperLogLog 的詳細(xì)講解:
?? 一、HyperLogLog 是什么?
HyperLogLog 是一種基數(shù)估計(jì)算法,它可以用來估算一個(gè)集合中不同元素的數(shù)量(Cardinality)。和 Set 不同,Set 會(huì)存儲(chǔ)所有元素,而 HyperLogLog 并不會(huì)保存具體的數(shù)據(jù),只保存一種統(tǒng)計(jì)狀態(tài)。
? 優(yōu)點(diǎn):可以統(tǒng)計(jì)大規(guī)模唯一元素?cái)?shù)量,內(nèi)存使用極低
? 缺點(diǎn):不是精確統(tǒng)計(jì),有誤差范圍 ±0.81%
??? 二、使用方法
1. 添加數(shù)據(jù)
PFADD key element [element ...] PFADD myloglog user1 user2 user3
2. 查詢基數(shù)
PFCOUNT key [key ...] PFCOUNT myloglog
3. 合并多個(gè) HyperLogLog
PFMERGE destkey sourcekey1 [sourcekey2 ...] PFMERGE totalLog userLog1 userLog2
?? 三、實(shí)際示例
# 添加一些用戶ID PFADD uv:20250414 user1 user2 user3 user4 user5 # 查詢今天的 UV PFCOUNT uv:20250414 # 返回 5 # 添加重復(fù)的用戶 ID(不會(huì)重復(fù)計(jì)數(shù)) PFADD uv:20250414 user1 user2 # 再查一次 PFCOUNT uv:20250414 # 仍然是 5
?? 四、原理簡(jiǎn)要(非必須了解)
HyperLogLog 基于概率算法,核心思想是:
哈希每個(gè)元素,觀察哈希值的前綴中連續(xù)0的最大長(zhǎng)度,利用這個(gè)統(tǒng)計(jì)信息估算基數(shù)。
- 哈希函數(shù)讓輸入隨機(jī)分布
- 長(zhǎng)連續(xù) 0 出現(xiàn)的概率很低,說明數(shù)據(jù)多
- Redis 將結(jié)果分散到 2^14(16,384)個(gè)桶中,提高精度
?? 五、適用場(chǎng)景
- 網(wǎng)站 UV 統(tǒng)計(jì)(每天、每小時(shí)用戶訪問數(shù))
- 活躍用戶數(shù)統(tǒng)計(jì)
- 數(shù)據(jù)去重統(tǒng)計(jì)但不需要精確結(jié)果的場(chǎng)合
?? 六、注意事項(xiàng)
- 無法獲取添加了哪些元素(它不存數(shù)據(jù))
- 是估算值(不是精確值),精度誤差為 ±0.81%
- 永遠(yuǎn)只占用約 12KB 的內(nèi)存(精確控制內(nèi)存使用)
?? 七、與 Set 對(duì)比
| 項(xiàng)目 | Set | HyperLogLog |
|---|---|---|
| 精度 | 精確 | 估算(±0.81%) |
| 內(nèi)存 | 隨數(shù)據(jù)增大 | 恒定約 12KB |
| 支持去重計(jì)數(shù) | ? | ?(基于概率) |
| 支持元素查看 | ? | ?(不存數(shù)據(jù)) |
| 使用場(chǎng)景 | 數(shù)據(jù)可控小集合 | 超大規(guī)模數(shù)據(jù)統(tǒng)計(jì) |
如果你有具體的使用場(chǎng)景或代碼需求,也可以告訴我,我可以幫你寫具體的 Redis 命令或 Python/Lua 示例。需要嗎?
到此這篇關(guān)于Redis中HyperLogLog的使用小結(jié)的文章就介紹到這了,更多相關(guān)Redis HyperLogLog使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Redis?HyperLogLog數(shù)據(jù)統(tǒng)計(jì)輕量級(jí)解決方案詳解
- Redis中?HyperLogLog數(shù)據(jù)類型使用小結(jié)
- Redis中HyperLogLog的使用詳情
- Redis如何使用HyperLogLog的實(shí)現(xiàn)
- Redis特殊數(shù)據(jù)類型HyperLogLog基數(shù)統(tǒng)計(jì)算法講解
- Redis高級(jí)數(shù)據(jù)類型Hyperloglog、Bitmap的使用
- Redis中3種特殊的數(shù)據(jù)類型(BitMap、Geo和HyperLogLog)
- Redis?HyperLogLog數(shù)據(jù)量統(tǒng)計(jì)的實(shí)現(xiàn)實(shí)例
相關(guān)文章
使用Redis實(shí)現(xiàn)數(shù)據(jù)庫對(duì)象自增ID的方法
在分布式項(xiàng)目中,數(shù)據(jù)表的主鍵ID一般可能存在于UUID或自增ID這兩種形式,UUID好理解而且實(shí)現(xiàn)起來也最容易,但是缺點(diǎn)就是數(shù)據(jù)表中的主鍵ID是32位的字符串,我們通常會(huì)優(yōu)先考慮使用自增ID來代替UUID使用,所以本文介紹了使用Redis實(shí)現(xiàn)生成對(duì)象自增ID的方法2024-11-11
Redis中的分布式鎖之SETNX底層實(shí)現(xiàn)方式
這篇文章主要介紹了Redis中的分布式鎖之SETNX底層實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-06-06
Redis中的String類型及使用Redis解決訂單秒殺超賣問題
這篇文章主要介紹了Redis中的String類型及使用Redis解決訂單秒殺超賣問題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-11-11

