布隆過濾器(Bloom Filter)的Java實(shí)現(xiàn)方法
布隆過濾器原理很簡(jiǎn)單:就是把一個(gè)字符串哈希成一個(gè)整數(shù)key,然后選取一個(gè)很長(zhǎng)的比特序列,開始都是0,在key把此位置的0變?yōu)?;下次進(jìn)來一個(gè)字符串,哈希之后的值key,如果在此比特位上的值也是1,那么就說明這個(gè)字符串存在了。
如果按照上面的做法,那就和哈希算法沒有什么區(qū)別了,哈希算法還有重復(fù)的呢。
布隆過濾器是將一個(gè)字符串哈希成多個(gè)key,我還是按照書上的說吧。
先建立一個(gè)16億二進(jìn)制常量,然后將這16億個(gè)二進(jìn)制位全部置0。對(duì)于每個(gè)字符串,用8個(gè)不同的隨機(jī)產(chǎn)生器(F1,F2,.....,F8)產(chǎn)生8個(gè)信息指紋(f1,f2,....,f8).再用一個(gè)隨機(jī)數(shù)產(chǎn)生器G把這八個(gè)信息指紋映射到1到16億中的8個(gè)自然數(shù)g1,g2,...,g8?,F(xiàn)在把這8個(gè)位置的二進(jìn)制位全部變?yōu)?。這樣一個(gè)布隆過濾器就建好了。
那么如何檢測(cè)一個(gè)字符串是否已經(jīng)存在了呢?
現(xiàn)在用8個(gè)隨機(jī)數(shù)產(chǎn)生器(F1,F2,...,F8)對(duì)這個(gè)字符串產(chǎn)生8個(gè)信息指紋s1,s2,...,s8,然后將這8個(gè)信息指紋對(duì)應(yīng)到布隆過濾器的8個(gè)二進(jìn)制位,分別是T1,T2,...,T8.如果字符串存在,那么顯然T1,T2,...,T8對(duì)應(yīng)的二進(jìn)制位都應(yīng)該是1。就是這樣來判斷字符串是否已經(jīng)存在的。
其實(shí)布隆過濾器就是對(duì)哈希算法的一個(gè)擴(kuò)展,既然本質(zhì)是哈希,那么就肯定會(huì)有不足,也就是說,肯定會(huì)有誤判,一個(gè)字符串明明沒有出現(xiàn)過而布隆過濾器判斷出現(xiàn)了,雖然可能性很小,但是確實(shí)存在。
那么如何減少這種概率呢,首先可以想到的是如果將8個(gè)信息指紋擴(kuò)展到16個(gè)錯(cuò)誤的概率肯定會(huì)降低,但是也要考慮到,這樣的話,那么一個(gè)布隆過濾器所能存儲(chǔ)的字符串?dāng)?shù)量也降低了1倍;另外就是選取很好的哈希函數(shù),對(duì)字符串的哈希方法有很多種,其中不乏很好的哈希函數(shù)。
布隆過濾器主要運(yùn)用在過濾惡意網(wǎng)址用的,將所有的惡意網(wǎng)址建立在一個(gè)布隆過濾器上,然后對(duì)用戶的訪問的網(wǎng)址進(jìn)行檢測(cè),如果在惡意網(wǎng)址中那么就通知用戶。這樣的話,我們還可以對(duì)一些常出現(xiàn)判斷錯(cuò)誤的網(wǎng)址設(shè)定一個(gè)白名單,然后對(duì)出現(xiàn)判斷存在的網(wǎng)址再和白名單中的網(wǎng)址進(jìn)行匹配,如果在白名單中,那么就放行。當(dāng)然這個(gè)白名單不能太大,也不會(huì)太大,布隆過濾器錯(cuò)誤的概率是很小的。有興趣的讀者可以去查閱,布隆過濾器的錯(cuò)誤率。
下面給出Java版的布隆過濾器源碼:
import java.util.BitSet;
/**
*
* @author xkey
*/
public class BloomFilter {
private static final int DEFAULT_SIZE = 2 << 24;//布隆過濾器的比特長(zhǎng)度
private static final int[] seeds = {3,5,7, 11, 13, 31, 37, 61};//這里要選取質(zhì)數(shù),能很好的降低錯(cuò)誤率
private static BitSet bits = new BitSet(DEFAULT_SIZE);
private static SimpleHash[] func = new SimpleHash[seeds.length];
public static void addValue(String value)
{
for(SimpleHash f : func)//將字符串value哈希為8個(gè)或多個(gè)整數(shù),然后在這些整數(shù)的bit上變?yōu)?
bits.set(f.hash(value),true);
}
public static void add(String value)
{
if(value != null) addValue(value);
}
public static boolean contains(String value)
{
if(value == null) return false;
boolean ret = true;
for(SimpleHash f : func)//這里其實(shí)沒必要全部跑完,只要一次ret==false那么就不包含這個(gè)字符串
ret = ret && bits.get(f.hash(value));
return ret;
}
public static void main(String[] args) {
String value = "www.dhdzp.com";
for (int i = 0; i < seeds.length; i++) {
func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
}
add(value);
System.out.println(contains(value));
}
}
class SimpleHash {//這玩意相當(dāng)于C++中的結(jié)構(gòu)體
private int cap;
private int seed;
public SimpleHash(int cap, int seed) {
this.cap = cap;
this.seed = seed;
}
public int hash(String value) {//字符串哈希,選取好的哈希函數(shù)很重要
int result = 0;
int len = value.length();
for (int i = 0; i < len; i++) {
result = seed * result + value.charAt(i);
}
return (cap - 1) & result;
}
}
總結(jié):布隆過濾器是對(duì)哈希算法的一種創(chuàng)新,而且需要消耗的空間也很小,錯(cuò)誤率很低??傊@種創(chuàng)新的思路很值得學(xué)習(xí),是一種對(duì)bit這種數(shù)據(jù)類型的運(yùn)用。
以上這篇布隆過濾器(Bloom Filter)的Java實(shí)現(xiàn)方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
關(guān)于@RequestBody和@RequestParam注解的使用詳解
這篇文章主要介紹了關(guān)于@RequestBody和@RequestParam注解的使用詳解,本文十分具有參考意義,希望可以幫助到你,如果有錯(cuò)誤的地方還望不吝賜教2023-03-03
springmvc Rest風(fēng)格介紹及實(shí)現(xiàn)代碼示例
這篇文章主要介紹了springmvc Rest風(fēng)格介紹及實(shí)現(xiàn)代碼示例,rest風(fēng)格簡(jiǎn)潔,分享了HiddenHttpMethodFilter 的源碼,通過Spring4.0實(shí)現(xiàn)rest風(fēng)格源碼及簡(jiǎn)單錯(cuò)誤分析,具有一定參考價(jià)值,需要的朋友可以了解下。2017-11-11
SpringMVC 參數(shù)綁定意義及實(shí)現(xiàn)過程解析
這篇文章主要介紹了SpringMVC 參數(shù)綁定意義及實(shí)現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
SpringBoot整合PageHelper分頁(yè)無效的常見原因分析
這篇文章主要介紹了SpringBoot整合PageHelper分頁(yè)無效的常見原因分析,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-08-08
Java基于JNDI 實(shí)現(xiàn)讀寫分離的示例代碼
本文主要介紹了Java基于JNDI 實(shí)現(xiàn)讀寫分離的示例代碼,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-12-12
深入理解Java基礎(chǔ)之try-with-resource語(yǔ)法糖
這篇文章主要介紹了深入理解Java基礎(chǔ)之try-with-resource語(yǔ)法糖,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-02-02
關(guān)于jdk環(huán)境變量配置以及javac不是內(nèi)部或外部命令的解決
這篇文章主要介紹了關(guān)于jdk環(huán)境變量配置以及javac不是內(nèi)部或外部命令的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-01-01
java中vector與hashtable操作實(shí)例分享
java中vector與hashtable操作實(shí)例,有需要的朋友可以參考一下2014-01-01
Spring 使用JavaConfig實(shí)現(xiàn)配置的方法步驟
這篇文章主要介紹了Spring 使用JavaConfig實(shí)現(xiàn)配置的方法步驟,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01

