SpringBoot使用布隆過濾器解決緩存穿透問題

更新時(shí)間：2023年10月10日 08:38:09 作者：YIRC99

緩存穿透是指當(dāng)緩存系統(tǒng)中無(wú)法命中需要的數(shù)據(jù)時(shí),會(huì)直接請(qǐng)求底層存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫(kù)）,但是如果請(qǐng)求的數(shù)據(jù)根本不存在,那么大量的請(qǐng)求就會(huì)直接穿透緩存層,本文將給大家介紹一下SpringBoot使用布隆過濾器解決緩存穿透問題,需要的朋友可以參考下

緩存穿透基礎(chǔ)介紹

緩存穿透是指當(dāng)緩存系統(tǒng)中無(wú)法命中需要的數(shù)據(jù)時(shí)，會(huì)直接請(qǐng)求底層存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫(kù)），但是如果請(qǐng)求的數(shù)據(jù)根本不存在，那么大量的請(qǐng)求就會(huì)直接穿透緩存層，直接訪問底層存儲(chǔ)系統(tǒng)，導(dǎo)致底層系統(tǒng)壓力過大，甚至崩潰。這也是緩存系統(tǒng)面臨的一種常見攻擊。

說(shuō)白了就是查詢大量不傳在的key 繞過緩存直接查詢數(shù)據(jù)庫(kù) 導(dǎo)致緩存跟不不存在一樣這就是緩存穿透

場(chǎng)景介紹

下面說(shuō)下我的場(chǎng)景我需要添加一個(gè)user 然后我再通過id去查詢如果查詢有結(jié)果那就放入緩存如果沒有那就直接查詢數(shù)據(jù)庫(kù) ?

這是添加user的方法

這是查詢user的方法

問題描述

在這兩個(gè)方法中我雖然加入的緩存的機(jī)制但是在查詢user的方法中會(huì)有一個(gè)問題就是如果我查詢的id是不存在的那就會(huì)一直查詢數(shù)據(jù)庫(kù)

@Cacheable(value = "userCache", key = "#id", condition = "#result != null")

當(dāng)然你可以說(shuō) 我去掉注解上面的condition = "#result != null" (這句話意思是condition 條件為真才緩存) 這樣就算我查詢一個(gè)不存在的id 然后將一個(gè)null或者空對(duì)象返回然后再加入緩存不就可以啦下次再去查詢這個(gè)不存在的id的時(shí)候就不會(huì)走數(shù)據(jù)庫(kù)了

可是如果我每一次查詢的都是不同的并且不存在的id呢? 那么這個(gè)問題還是無(wú)法解決那么接下來(lái)就可以引入布隆過濾器布隆過濾器具體的原理我這里就不做解釋了

解決問題

第一步在maven中導(dǎo)入布隆過濾器事先說(shuō)明導(dǎo)入的方法很多我的方法不一定是最優(yōu)的但是一定是能行的

在pom.xml中引入依賴

        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>30.1-jre</version>
        </dependency>
        Guava庫(kù)（Google Guava）是一個(gè)Google開發(fā)的Java工具庫(kù)，
        它提供了許多常用的Java工具類和數(shù)據(jù)結(jié)構(gòu)，包括布隆過濾器（Bloom Filter）

創(chuàng)建項(xiàng)目結(jié)構(gòu) 這個(gè)不需要解釋吧能看這種文章的我相信項(xiàng)目結(jié)構(gòu)應(yīng)該都是能看懂的?

AppConfig的代碼如下就是簡(jiǎn)單的注入Bean對(duì)象

@Configuration
public class AppConfig {
    @Bean
    public BloomFilterService bloomFilterService() {
        return new BloomFilterService();
    }
}

BloomFilterService的代碼如下

public class BloomFilterService {
    private BloomFilter<Long> bloomFilter;
    public BloomFilterService(){
        // 創(chuàng)建一個(gè)布隆過濾器，設(shè)置期望插入的元素?cái)?shù)量和誤判率
        int  bloomFilterSize = 1000;  // 期望插入的元素?cái)?shù)量
        double falsePositiveRate = 0.001; // 誤判率
        bloomFilter = BloomFilter.create(Funnels.longFunnel(), bloomFilterSize, falsePositiveRate);
    }
    // 添加元素到布隆過濾器
    public void add(Long id){
        bloomFilter.put(id);
    }
    //判斷元數(shù)是否在布隆過濾器中
    public boolean contains(Long id){
        return bloomFilter.mightContain(id);
    }
}

接下來(lái)就是在controller中引入并且使用布隆過濾器了

正常注入

    @Autowired
    private BloomFilterService bloomFilterService;

然后在每一次添加對(duì)象之后都將用戶的id添加到布隆過濾器中

    @CachePut(value = "userCache", key = "#user.id") // value 指定緩存的名字
    @PostMapping
    public User save(User user){
        userService.save(user);
        bloomFilterService.add(user.getId()); 
        //這里注意必須要放在添加之后 因?yàn)橐婚_始傳過來(lái)的user是沒有id的 會(huì)有空指針錯(cuò)誤
        //這里利用的查詢回顯 不懂的可以去查查
        return user;
    }

然后更改查詢方法這樣每一次查詢user的時(shí)候都會(huì)先過一遍布隆過濾器然后再去查詢用戶如果存在那么就加入緩存不傳在就會(huì)被布隆過濾器攔截注意去掉, condition = "#result != null" 這個(gè)好像跟布隆有沖突如果有懂的可以在評(píng)論區(qū)提一下

    @Cacheable(value = "userCache", key = "#id")
    @GetMapping("/{id}")
    public User getById(@PathVariable Long id){
        if (!bloomFilterService.contains(id)) {
            // ID 不合法，可以返回錯(cuò)誤響應(yīng)或進(jìn)行其他處理
            return null;
        }
        User byId = userService.getById(id);
        return byId;
    }