Redis實(shí)現(xiàn)唯一計(jì)數(shù)的3種方法分享
唯一計(jì)數(shù)是網(wǎng)站系統(tǒng)中十分常見的一個(gè)功能特性,例如網(wǎng)站需要統(tǒng)計(jì)每天訪問的人數(shù) unique visitor (也就是 UV)。計(jì)數(shù)問題很常見,但解決起來可能十分復(fù)雜:一是需要計(jì)數(shù)的量可能很大,比如大型的站點(diǎn)每天有數(shù)百萬的人訪問,數(shù)據(jù)量相當(dāng)大;二是通常還希望擴(kuò)展計(jì)數(shù)的維度,比如除了需要每天的 UV,還想知道每周或每月的 UV,這樣導(dǎo)致計(jì)算十分復(fù)雜。
在關(guān)系數(shù)據(jù)庫存儲的系統(tǒng)里,實(shí)現(xiàn)唯一計(jì)數(shù)的方法就是 select count(distinct <item_id>),它十分簡單,但是如果數(shù)據(jù)量很大,這個(gè)語句執(zhí)行是很慢的。用關(guān)系數(shù)據(jù)庫另外一個(gè)問題是插入數(shù)據(jù)性能也不高。
Redis 解決這類計(jì)數(shù)問題得心應(yīng)手,相比關(guān)系數(shù)據(jù)庫速度更快,消耗資源更少,甚至提供了 3 種不同的方法。
1.基于 set
Redis 的 set 用于保存唯一的數(shù)據(jù)集合,通過它可以快速判斷某一個(gè)元素是否存在于集合中,也可以快速計(jì)算某一個(gè)集合的元素個(gè)數(shù),另外和可以合并集合到一個(gè)新的集合中。涉及的命令如下:
SISMEMBER key member # 判斷 member 是否存在
SADD key member # 往集合中加入 member
SCARD key # 獲取集合元素個(gè)數(shù)
基于 set 的方法簡單有效,計(jì)數(shù)精確,適用面廣,易于理解,它的缺點(diǎn)是消耗資源比較大(當(dāng)然比起關(guān)系數(shù)據(jù)庫是少很多的),如果元素個(gè)數(shù)很大(比如上億的計(jì)數(shù)),消耗內(nèi)存很恐怖。
2.基于 bit
Redis 的 bit 可以用于實(shí)現(xiàn)比 set 內(nèi)存高度壓縮的計(jì)數(shù),它通過一個(gè) bit 1 或 0 來存儲某個(gè)元素是否存在信息。例如網(wǎng)站唯一訪客計(jì)數(shù),可以把 user_id 作為 bit 的偏移量 offset,設(shè)置為 1 表示有訪問,使用 1 MB的空間就可以存放 800 多萬用戶的一天訪問計(jì)數(shù)情況。涉及的命令如下:
SETBIT key offset value # 設(shè)置位信息
GETBIT key offset # 獲取位信息
BITCOUNT key [start end] # 計(jì)數(shù)
BITOP operation destkey key [key ...] # 位圖合并
基于 bit 的方法比起 set 空間消耗小得多,但是它要求元素能否簡單映射為位偏移,適用面窄了不少,另外它消耗的空間取決于最大偏移量,和計(jì)數(shù)值無關(guān),如果最大偏移量很大,消耗內(nèi)存也相當(dāng)可觀。
3.基于 HyperLogLog
實(shí)現(xiàn)超大數(shù)據(jù)量精確的唯一計(jì)數(shù)都是比較困難的,但是如果只是近似的話,計(jì)算科學(xué)里有很多高效的算法,其中 HyperLogLog Counting 就是其中非常著名的算法,它可以僅僅使用 12 k左右的內(nèi)存,實(shí)現(xiàn)上億的唯一計(jì)數(shù),而且誤差控制在百分之一左右。涉及的命令如下:
PFADD key element [element ...] # 加入元素
PFCOUNT key [key ...] # 計(jì)數(shù)
這種計(jì)數(shù)方法真的很神奇,我也沒有徹底弄明白,有興趣可以深入研究相關(guān)文章。
redis 提供的這三種唯一計(jì)數(shù)方式各有優(yōu)劣,可以充分滿足不同情況下的計(jì)數(shù)要求。
- Redis的使用模式之計(jì)數(shù)器模式實(shí)例
- redis實(shí)現(xiàn)計(jì)數(shù)器-防止刷單方法介紹
- Redis實(shí)現(xiàn)高并發(fā)計(jì)數(shù)器
- Spring之借助Redis設(shè)計(jì)一個(gè)簡單訪問計(jì)數(shù)器的示例
- PHP基于redis計(jì)數(shù)器類定義與用法示例
- Docker 部署 SpringBoot 項(xiàng)目整合 Redis 鏡像做訪問計(jì)數(shù)示例代碼
- redis通過位圖法記錄在線用戶的狀態(tài)詳解
- Redis精確去重計(jì)數(shù)方法(咆哮位圖)
相關(guān)文章
深入了解Redis連接數(shù)問題的現(xiàn)象和解法
一般情況?Redis?連接數(shù)問題并不常見,但是當(dāng)你業(yè)務(wù)服務(wù)增加、對?Redis?的依賴持續(xù)增強(qiáng)的過程中,可能會遇到很多?Redis?的問題,這個(gè)時(shí)候,Redis?連接數(shù)可能就成了一個(gè)常見的問題,在本章節(jié),希望能夠帶大家了解Redis連接數(shù)問題的現(xiàn)象和解法,需要的朋友可以參考下2023-12-12
為什么RedisCluster設(shè)計(jì)成16384個(gè)槽
本文主要介紹了為什么RedisCluster設(shè)計(jì)成16384個(gè)槽,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-09-09
SpringBoot集成redis錯(cuò)誤問題及解決方法
這篇文章主要介紹了SpringBoot集成redis錯(cuò)誤問題,本文給大家分享完美解決方法,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02
Redis 中spark參數(shù)executor-cores引起的異常解決辦法
這篇文章主要介紹了Redis 中spark參數(shù)executor-cores引起的異常解決辦法的相關(guān)資料,需要的朋友可以參考下2017-03-03
Redis壓縮列表的設(shè)計(jì)與實(shí)現(xiàn)
壓縮列表(Ziplist)是 Redis 為了節(jié)省內(nèi)存而設(shè)計(jì)的一種緊湊型數(shù)據(jù)結(jié)構(gòu),主要用于存儲長度較短且數(shù)量較少的元素集合,本文給大家介紹了Redis壓縮列表的設(shè)計(jì)與實(shí)現(xiàn),文中通過代碼示例講解的非常詳細(xì),需要的朋友可以參考下2024-08-08
odoo中使用redis實(shí)現(xiàn)緩存的步驟
這篇文章主要介紹了odoo中使用redis實(shí)現(xiàn)緩存的步驟,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-04-04
redis5集群如何主動(dòng)手工切換主從節(jié)點(diǎn)命令
這篇文章主要介紹了redis5集群如何主動(dòng)手工切換主從節(jié)點(diǎn)命令,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01

