Redis中Redisson布隆過(guò)濾器的學(xué)習(xí)

更新時(shí)間：2022年05月16日 09:20:42 作者：我家有貓已長(zhǎng)成

布隆過(guò)濾器是一個(gè)非常長(zhǎng)的二進(jìn)制向量和一系列隨機(jī)哈希函數(shù)的組合，可用于檢索一個(gè)元素是否存在，本文就詳細(xì)的介紹一下Redisson布隆過(guò)濾器，具有一定的參考價(jià)值，感興趣的可以了解一下

簡(jiǎn)介

本文基于Spring Boot 2.6.6、redisson 3.16.0簡(jiǎn)單分析Redisson布隆過(guò)濾器的使用。

布隆過(guò)濾器是一個(gè)非常長(zhǎng)的二進(jìn)制向量和一系列隨機(jī)哈希函數(shù)的組合，可用于檢索一個(gè)元素是否存在；

使用場(chǎng)景如下：

解決Redis緩存穿透問(wèn)題；
郵件過(guò)濾；

使用

建立一個(gè)二進(jìn)制向量，所有位設(shè)置0；
選擇K個(gè)散列函數(shù)，用于對(duì)元素進(jìn)行K次散列，計(jì)算向量的位下標(biāo)；
添加元素：將K個(gè)散列函數(shù)作用于該元素，生成K個(gè)值作為位下標(biāo)，將向量的對(duì)應(yīng)位設(shè)置為1；
檢索元素：將K個(gè)散列函數(shù)作用于該元素，生成K個(gè)值作為位下標(biāo)，若向量的對(duì)應(yīng)位都是1，則說(shuō)明該元素可能存在；否則，該元素肯定不存在；

Demo

依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
    <exclusions>
        <exclusion>
            <groupId>io.lettuce</groupId>
            <artifactId>lettuce-core</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
</dependency>
<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson</artifactId>
    <version>3.16.0</version>
</dependency>

測(cè)試代碼

public class BloomFilterDemo {

? ? public static void main(String[] args) {
? ? ? ? Config config = new Config();
? ? ? ? config.useSingleServer().setAddress("redis://127.0.0.1:6379");
? ? ? ? RedissonClient redissonClient = Redisson.create(config);
? ? ? ? RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("bloom-filter");
? ? ? ? // 初始化布隆過(guò)濾器
? ? ? ? bloomFilter.tryInit(200, 0.01);

? ? ? ? List<String> elements = new ArrayList<>();
? ? ? ? for (int i = 0; i < 200; i++) {
? ? ? ? ? ? elements.add(UUID.randomUUID().toString());
? ? ? ? }

? ? ? ? // 向布隆過(guò)濾器中添加內(nèi)容
? ? ? ? init(bloomFilter, elements);
? ? ? ? // 測(cè)試檢索效果
? ? ? ? test(bloomFilter, elements);

? ? ? ? redissonClient.shutdown();
? ? }

? ? public static void init(RBloomFilter<String> bloomFilter, List<String> elements) {
? ? ? ? for (int i = 0; i < elements.size(); i++) {
? ? ? ? ? ? if (i % 2 == 0) {
? ? ? ? ? ? ? ? bloomFilter.add(elements.get(i));
? ? ? ? ? ? }
? ? ? ? }
? ? }

? ? public static void test(RBloomFilter<String> bloomFilter, List<String> elements) {
? ? ? ? int counter = 0;
? ? ? ? for (String element : elements) {
? ? ? ? ? ? if (bloomFilter.contains(element)) {
? ? ? ? ? ? ? ? counter++;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? System.out.println(counter);
? ? }
}

簡(jiǎn)析

初始化

布隆過(guò)濾器的初始化方法tryInit有兩個(gè)參數(shù)：

expectedInsertions：預(yù)期的插入元素?cái)?shù)量；
falseProbability：預(yù)期的錯(cuò)誤率；

布隆過(guò)濾器可以明確元素不存在，但對(duì)于元素存在的判斷是存在錯(cuò)誤率的；所以初始化時(shí)指定的這兩個(gè)參數(shù)會(huì)決定布隆過(guò)濾器的向量長(zhǎng)度和散列函數(shù)的個(gè)數(shù)；
RedissonBloomFilter.tryInit方法代碼如下：

public boolean tryInit(long expectedInsertions, double falseProbability) {
? ? if (falseProbability > 1) {
? ? ? ? throw new IllegalArgumentException("Bloom filter false probability can't be greater than 1");
? ? }
? ? if (falseProbability < 0) {
? ? ? ? throw new IllegalArgumentException("Bloom filter false probability can't be negative");
? ? }

? ? // 根據(jù)元素個(gè)數(shù)和錯(cuò)誤率計(jì)算得到向量長(zhǎng)度
? ? size = optimalNumOfBits(expectedInsertions, falseProbability);
? ? if (size == 0) {
? ? ? ? throw new IllegalArgumentException("Bloom filter calculated size is " + size);
? ? }
? ? if (size > getMaxSize()) {
? ? ? ? throw new IllegalArgumentException("Bloom filter size can't be greater than " + getMaxSize() + ". But calculated size is " + size);
? ? }
? ? // 根據(jù)元素個(gè)數(shù)和向量長(zhǎng)度計(jì)算得到散列函數(shù)的個(gè)數(shù)
? ? hashIterations = optimalNumOfHashFunctions(expectedInsertions, size);

? ? CommandBatchService executorService = new CommandBatchService(commandExecutor);
? ? executorService.evalReadAsync(configName, codec, RedisCommands.EVAL_VOID,
? ? ? ? ? ? "local size = redis.call('hget', KEYS[1], 'size');" +
? ? ? ? ? ? ? ? ? ? "local hashIterations = redis.call('hget', KEYS[1], 'hashIterations');" +
? ? ? ? ? ? ? ? ? ? "assert(size == false and hashIterations == false, 'Bloom filter config has been changed')",
? ? ? ? ? ? ? ? ? ? Arrays.<Object>asList(configName), size, hashIterations);
? ? executorService.writeAsync(configName, StringCodec.INSTANCE,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? new RedisCommand<Void>("HMSET", new VoidReplayConvertor()), configName,
? ? ? ? ? ? "size", size, "hashIterations", hashIterations,
? ? ? ? ? ? "expectedInsertions", expectedInsertions, "falseProbability", BigDecimal.valueOf(falseProbability).toPlainString());
? ? try {
? ? ? ? executorService.execute();
? ? } catch (RedisException e) {
? ? ? ? if (e.getMessage() == null || !e.getMessage().contains("Bloom filter config has been changed")) {
? ? ? ? ? ? throw e;
? ? ? ? }
? ? ? ? readConfig();
? ? ? ? return false;
? ? }

? ? return true;
}

private long optimalNumOfBits(long n, double p) {
? ? if (p == 0) {
? ? ? ? p = Double.MIN_VALUE;
? ? }
? ? return (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));
}

private int optimalNumOfHashFunctions(long n, long m) {
? ? return Math.max(1, (int) Math.round((double) m / n * Math.log(2)));
}

添加元素

向布隆過(guò)濾器中添加元素時(shí)，先使用一系列散列函數(shù)根據(jù)元素得到K個(gè)位下標(biāo)，然后將向量中位下標(biāo)對(duì)應(yīng)的位設(shè)置為1；
RedissonBloomFilter.add方法代碼如下：

public boolean add(T object) {
? ? // 根據(jù)帶插入元素得到兩個(gè)long類(lèi)型散列值
? ? long[] hashes = hash(object);

? ? while (true) {
? ? ? ? if (size == 0) {
? ? ? ? ? ? readConfig();
? ? ? ? }

? ? ? ? int hashIterations = this.hashIterations;
? ? ? ? long size = this.size;

? ? ? ? // 得到位下標(biāo)數(shù)組
? ? ? ? // 以兩個(gè)散列值根據(jù)指定策略生成hashIterations個(gè)散列值，從而得到位下標(biāo)
? ? ? ? long[] indexes = hash(hashes[0], hashes[1], hashIterations, size);

? ? ? ? CommandBatchService executorService = new CommandBatchService(commandExecutor);
? ? ? ? addConfigCheck(hashIterations, size, executorService);
? ? ? ? RBitSetAsync bs = createBitSet(executorService);
? ? ? ? for (int i = 0; i < indexes.length; i++) {
? ? ? ? ? ? // 將位下標(biāo)對(duì)應(yīng)位設(shè)置1
? ? ? ? ? ? bs.setAsync(indexes[i]);
? ? ? ? }
? ? ? ? try {
? ? ? ? ? ? List<Boolean> result = (List<Boolean>) executorService.execute().getResponses();

? ? ? ? ? ? for (Boolean val : result.subList(1, result.size()-1)) {
? ? ? ? ? ? ? ? if (!val) {
? ? ? ? ? ? ? ? ? ? // 元素添加成功
? ? ? ? ? ? ? ? ? ? return true;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? // 元素已存在
? ? ? ? ? ? return false;
? ? ? ? } catch (RedisException e) {
? ? ? ? ? ? if (e.getMessage() == null || !e.getMessage().contains("Bloom filter config has been changed")) {
? ? ? ? ? ? ? ? throw e;
? ? ? ? ? ? }
? ? ? ? }
? ? }
}

private long[] hash(Object object) {
? ? ByteBuf state = encode(object);
? ? try {
? ? ? ? return Hash.hash128(state);
? ? } finally {
? ? ? ? state.release();
? ? }
}

private long[] hash(long hash1, long hash2, int iterations, long size) {
? ? long[] indexes = new long[iterations];
? ? long hash = hash1;
? ? for (int i = 0; i < iterations; i++) {
? ? ? ? indexes[i] = (hash & Long.MAX_VALUE) % size;
? ? ? ? // 散列函數(shù)的實(shí)現(xiàn)方式
? ? ? ? if (i % 2 == 0) {
? ? ? ? ? ? // 新散列值
? ? ? ? ? ? hash += hash2;
? ? ? ? } else {
? ? ? ? ? ? // 新散列值
? ? ? ? ? ? hash += hash1;
? ? ? ? }
? ? }
? ? return indexes;
}

hash(long hash1, long hash2, int iterations, long size)方法中，利用根據(jù)元素得到的兩個(gè)散列值，生成一系列散列函數(shù)，然后得到位下標(biāo)數(shù)組；

檢索元素

檢索布隆過(guò)濾器中是否存在指定元素時(shí)，先使用一系列散列函數(shù)根據(jù)元素得到K個(gè)位下標(biāo)，然后判斷向量中位下標(biāo)對(duì)應(yīng)的位是否為1，若存在一個(gè)不為1，則該元素不存在；否則認(rèn)為存在；
RedissonBloomFilter.contains方法代碼如下：

public boolean contains(T object) {
? ? // 根據(jù)帶插入元素得到兩個(gè)long類(lèi)型散列值
? ? long[] hashes = hash(object);

? ? while (true) {
? ? ? ? if (size == 0) {
? ? ? ? ? ? readConfig();
? ? ? ? }

? ? ? ? int hashIterations = this.hashIterations;
? ? ? ? long size = this.size;

? ? ? ? // 得到位下標(biāo)數(shù)組
? ? ? ? // 以兩個(gè)散列值根據(jù)指定策略生成hashIterations個(gè)散列值，從而得到位下標(biāo)
? ? ? ? long[] indexes = hash(hashes[0], hashes[1], hashIterations, size);

? ? ? ? CommandBatchService executorService = new CommandBatchService(commandExecutor);
? ? ? ? addConfigCheck(hashIterations, size, executorService);
? ? ? ? RBitSetAsync bs = createBitSet(executorService);
? ? ? ? for (int i = 0; i < indexes.length; i++) {
? ? ? ? ? ? // 獲取位下標(biāo)對(duì)應(yīng)位的值
? ? ? ? ? ? bs.getAsync(indexes[i]);
? ? ? ? }
? ? ? ? try {
? ? ? ? ? ? List<Boolean> result = (List<Boolean>) executorService.execute().getResponses();

? ? ? ? ? ? for (Boolean val : result.subList(1, result.size()-1)) {
? ? ? ? ? ? ? ? if (!val) {
? ? ? ? ? ? ? ? ? ? // 若存在不為1的位，則認(rèn)為元素不存在
? ? ? ? ? ? ? ? ? ? return false;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? // 都為1，則認(rèn)為元素存在
? ? ? ? ? ? return true;
? ? ? ? } catch (RedisException e) {
? ? ? ? ? ? if (e.getMessage() == null || !e.getMessage().contains("Bloom filter config has been changed")) {
? ? ? ? ? ? ? ? throw e;
? ? ? ? ? ? }
? ? ? ? }
? ? }
}

到此這篇關(guān)于Redis中Redisson布隆過(guò)濾器的學(xué)習(xí)的文章就介紹到這了,更多相關(guān)Redis Redisson布隆過(guò)濾器內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: