Redis中HyperLogLog的使用詳情

更新時(shí)間：2022年09月23日 09:32:43 作者：_燈火闌珊處

這篇文章主要介紹了Redis中HyperLogLog的使用詳情，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下

前言

HyperLogLog ，基數(shù)統(tǒng)計(jì)；

那什么是基數(shù)？

比如有兩個(gè)數(shù)組

數(shù)組A = [1,2,3,4,5];

數(shù)組B = [3,4,5,6,7];

這時(shí)候基數(shù)就是 [1,2,3,4,5,6,7]，總共有7個(gè)數(shù)；

就是去重之后的數(shù)據(jù)；

HyperLogLog 就是用來(lái)做去重復(fù)統(tǒng)計(jì)的；

bitmap 在做統(tǒng)計(jì)時(shí)，雖然使用的是 bit 來(lái)做記錄，已經(jīng)很節(jié)省空間了；

但是在隨著數(shù)據(jù)量快速增長(zhǎng)的情況下，bitmap 也是很占內(nèi)存空間的；

而 HyperLogLog 就不同了，HyperLogLog 的每個(gè) key 只占用 12kb 的內(nèi)存，

就可以統(tǒng)計(jì) 2的64 次方個(gè)基數(shù)；

而且不會(huì)隨著數(shù)據(jù)量的增多而變大，就是固定的 12kb；

這是因?yàn)?nbsp;HyperLogLog 每次只會(huì)根據(jù)添加的數(shù)據(jù)去計(jì)算基數(shù)，而不保存添加的數(shù)據(jù)本身；

但這也造成了一個(gè)問(wèn)題，就是 HyperLogLog 基數(shù)統(tǒng)計(jì)的準(zhǔn)確率不是100%，會(huì)有 0.81% 的誤差；

但對(duì)于億級(jí)數(shù)據(jù)的統(tǒng)計(jì)，這點(diǎn)誤差似乎可以忽略不計(jì)；

同樣的，bitmap 記錄數(shù)據(jù)本身，它的計(jì)算是精確的；

所有，也可以說(shuō) HyperLogLog 是一種概率計(jì)算，但是誤差是很小的。

這是reidis作者寫(xiě)的關(guān)于HyperLogLog的文章

HyperLogLog 的使用也非常簡(jiǎn)單，就3個(gè)操作api

添加元素

pfadd key value [value ...]

pfadd 20220628:uv ip1 ip2 ip3
pfadd 20220629:uv ip1 ip2 ip3 ip4 ip5
pfadd 20220630:uv ip2 ip4 ip5 ip6 ip7 ip8

重復(fù)數(shù)據(jù)不會(huì)被保存，返回的是0

> pfadd 20220628:uv ip1 ip2 ip3
1
> pfadd 20220628:uv ip1 ip2 ip3
0

獲取 HyperLogLog 的基數(shù)估算值

PFCOUNT key [key ...]

> pfcount 20220628:uv 20220629:uv
5

合并得出的不會(huì)被儲(chǔ)存，使用之后就會(huì)被刪掉

合并多個(gè)key

pfmerge destkey key [key ...]

> pfmerge result 20220628:uv 20220629:uv 20220630:uv
OK

pfmerge 合并多個(gè)key后，會(huì)生成一條 result 數(shù)據(jù)

然后再對(duì) result 做 pfcount 操作

> pfcount result
8

這時(shí)候拿到的值就是上面3個(gè)key 計(jì)算出來(lái)的基數(shù)。

HyperLogLog 在 spring 里的使用也非常簡(jiǎn)單，

pfadd 對(duì)應(yīng)的是 .add() 操作；

pfcount 對(duì)應(yīng)的是 .size() 操作；

pfmerge 對(duì)應(yīng)的是 .union() 操作；

下面是使用的 Demo

import org.junit.jupiter.api.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.redis.core.HyperLogLogOperations;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;

@SpringBootTest
@RunWith(SpringRunner.class)
class RedisTest {
    
    @Resource
    private RedisTemplate<String, String> redisTemplate;

    @Test
    void hyperLogLogTest() {
        HyperLogLogOperations<String, String> hyperLogLogOperations = redisTemplate.opsForHyperLogLog();
        // 添加元素
        Long add = hyperLogLogOperations.add("20220628:uv", "ip1", "ip2", "ip3");
        System.out.println("add : " + add);

        hyperLogLogOperations.add("20220629:uv", "ip1", "ip2", "ip3", "ip4", "ip5");
        hyperLogLogOperations.add("20220630:uv", "ip2", "ip4", "ip5", "ip6", "ip7", "ip8");

        // 獲取元素基數(shù)
        Long size = hyperLogLogOperations.size("20220628:uv", "20220629:uv");
        System.out.println("size : " + size);

        // 合并多個(gè)元素
        Long result = hyperLogLogOperations.union("unionResult", "20220628:uv", "20220629:uv", "20220630:uv");
        System.out.println("result : " + result);
        Long unionResult = hyperLogLogOperations.size("unionResult");
        System.out.println("unionResult : " + unionResult);
    }
}

到此這篇關(guān)于Redis中HyperLogLog的使用詳情的文章就介紹到這了,更多相關(guān)RedisH yperLogLog內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: