redis中的bitmap你了解嗎
更新時(shí)間：2022年03月22日 15:23:29 作者：或非與
這篇文章主要為大家詳細(xì)介紹了redis中的bitmap，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助
1、BitMap是什么
通過(guò)一個(gè)bit位來(lái)表示某個(gè)元素對(duì)應(yīng)的值或者狀態(tài),其中的key就是對(duì)應(yīng)元素本身。我們知道8個(gè)bit可以組成一個(gè)Byte，所以bitmap本身會(huì)極大的節(jié)省儲(chǔ)存空間。2^32次方40億數(shù)據(jù)只需要500M內(nèi)存，需要內(nèi)存少了8倍
2、setbit命令介紹
setbit key offset value #設(shè)置bitmapkey為20220328 uid為100的用戶已簽到1 setbit 20220320 100 1 setbit 20220320 200 1 setbit 20220321 100 1 setbit 20220321 300 1 getbit 20220320 100 #返回1,說(shuō)明這個(gè)用戶已簽到了 bitcount 20220320 #獲取bitmap數(shù)量
bitmap的坑
127.0.0.1:6400> setbit bittest 100 1 #設(shè)置不存在的offset返回0 (integer) 0 127.0.0.1:6400> setbit bittest 100 1 #設(shè)置已存在的offset返回1 (integer) 1
setbit maxKey 4000000000 1 #直接弄了你600多M內(nèi)存
/**
* 布隆過(guò)濾器bloom Filter
* 1.百萬(wàn)分之一的概率哈希沖突,所以有存在的不一定存在，但是不存在的百分百不存在
* 2.不能刪除,刪除的時(shí)候不能簡(jiǎn)單的直接置為0,可能會(huì)影響其他元素的判斷,其實(shí)問(wèn)題不大一般生產(chǎn)數(shù)據(jù)也不會(huì)刪除的,都是軟刪除
* 3.新增數(shù)據(jù)時(shí)候?qū)懭隻loom Filter
* 4.2^32次方40億數(shù)據(jù)內(nèi)存占用才600M,超級(jí)省內(nèi)存,查找速度非?？?160M內(nèi)存可以在千萬(wàn)級(jí)數(shù)據(jù)做到1%的誤判
* 5.bitmap根據(jù)offset去申請(qǐng)內(nèi)存的,所以要省內(nèi)存的情況要限制offset值
*/
public function bloomAction(){
$t1 = time();
for($i=0;$i<99;$i++){
$bl = new BloomFilter();
//$str = "1https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time();
$str = "https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999);
p($str);
$res1 = $bl->JSHash($str);//兩次哈希3s,md5哈希重復(fù)的概率是百萬(wàn)分之一
p($res1);
}
//p($res);
$t2 = time();
echo $t2-$t1;
}
/**
* 布隆過(guò)濾器初始化 bloom Filter 執(zhí)行 php index.php "index/demo/loadDb2bloom"
*/
public function isExistBloomAction(){
$redis = redisCursor();
$email = input("email","","trim");
$tel = input("tel","");
$result = false;
$msg = "";
if(filter_var($email,FILTER_VALIDATE_EMAIL)){
$key1 = "bloom_user_email";
$offset = BloomFilter::JSHash($email);
$result = $redis->getbit($key1,$offset);
$msg = $email;
}elseif($tel){
$key2 = "bloom_user_telephone";
$offset = BloomFilter::JSHash($tel);
$result = $redis->getbit($key2,$offset);
$msg = $tel;
}
$result?apiSuccess($msg.",已存在"):apiError($msg.",不存在");
}
/**
* 布隆過(guò)濾器初始化 bloom Filter 執(zhí)行 php index.php "index/demo/loadDb2bloom"
*/
public function loadDb2bloomAction(){
$time1 = time();
$redis = redisCursor();
$key1 = "bloom_user_email";
$key2 = "bloom_user_telephone";
//setbit() offset 必須是數(shù)字,value必須是1或0
//$redis->setbit($key,30,1);
$table = "user";
$pkid = "id";
$field1 = "email";
$field2 = "telephone";
$maxid = Db::name($table)->max($pkid);
$size = 5000;
$page = ceil($maxid/$size);
for($i=0;$i<$page;$i++){
$start = $i*$size;
$where = " $pkid between ".$start." and ".($start+$size);
$res = Db::name($table)->where($where)->field("$field1,$field2")->select();
if($res){//同步到bitmap
foreach($res as $k=>$v){
//布隆過(guò)濾器 1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希沖突可能用100W分之一的可能重復(fù))
//所以注冊(cè)的時(shí)候判斷不存在的,百分百可以注冊(cè)，存在的可以查詢一下數(shù)據(jù)庫(kù)是否真的不存在
$value1 = BloomFilter::JSHash($v["$field1"]);
$value2 = BloomFilter::JSHash($v["$field2"]);
$redis->setbit($key1,$value1,1);//email去重
$redis->setbit($key2,$value2,1);//mobile去重
}
}
$time2 = time();
echo $where." 消耗時(shí)間 ".($time2-$time1).PHP_EOL;
}
$time3 = time();
echo " 總消耗時(shí)間 ".($time3-$time1).PHP_EOL;
}<?php
class BloomFilter
{
/**
* 下面的哈希函數(shù)隨便用一個(gè)都行,都是把字符串轉(zhuǎn)換成數(shù)字
*/
/**
* hash方法類
* 由Justin Sobel編寫的按位散列函數(shù)
* update：Denny
* 返回之前做了內(nèi)存限制在160M,超過(guò)10億的哈希后的數(shù)值,把它限制在10億內(nèi),此時(shí)1000W的數(shù)據(jù)可做到1%誤判,內(nèi)存不差這600多M的話就別限制了
* 因?yàn)閞edis的bitmap申請(qǐng)內(nèi)存是看offset申請(qǐng)內(nèi)存的,setbit mykey 400000000 1，這樣直接申請(qǐng)了600M內(nèi)存
*/
public static function JSHash($string, $limitMemory=true,$len = null)
{
$hash = 1315423911;
$len || $len = strlen($string);
for($i = 0; $i < $len; $i++)
{
$hash ^= (($hash << 5) + ord($string[$i]) + ($hash >> 2));
}
$hashNum = ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
//為了節(jié)省內(nèi)存,超過(guò)10億就對(duì)半拆,10億,這時(shí)候大約是130M內(nèi)存占用,千萬(wàn)級(jí)數(shù)據(jù)可以做到1%誤判率,內(nèi)存足夠可以不用判斷,直接生成就行了
//如果數(shù)據(jù)過(guò)4000W的話不用限制了,因?yàn)樯傻臄?shù)據(jù)最大也是2^32次方40多億,此時(shí)內(nèi)存占用大概在600M封頂了
if($limitMemory){
if($hashNum>4000000000){
$hashNum = intval($hashNum/5);
}elseif($hashNum>3000000000){
$hashNum = intval($hashNum/4);
}elseif($hashNum>2000000000){
$hashNum = intval($hashNum/3);
}
}
return $hashNum;
}
}總結(jié)
本篇文章就到這里了，希望能夠給你帶來(lái)幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
redis中List列表常見(jiàn)命令及使用場(chǎng)景
這篇文章主要給大家介紹了關(guān)于redis中List列表常見(jiàn)命令及使用場(chǎng)景的相關(guān)資料,Redis列表是簡(jiǎn)單的字符串列表,按照插入順序排序,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-01-01
這篇文章主要介紹了redis模糊批量清除key的操作方法，包括命令行刪除和golang代碼刪除，本文結(jié)合示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-12-12
redis中使用bloomfilter的白名單功能解決緩存穿透問(wèn)題
本文主要介紹了redis中使用bloomfilter的白名單功能解決緩存穿透問(wèn)題，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
Springboot整合Redis與數(shù)據(jù)持久化
這篇文章主要介紹了Springboot整合Redis與Redis數(shù)據(jù)持久化的操作，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-07-07
本文主要介紹了一文弄懂Redis單線程和多線程，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
Redis覆寫已存在的鍵會(huì)導(dǎo)致其舊的失效時(shí)間被新的鍵值對(duì)所取代,本文詳細(xì)解析了在鍵被覆寫時(shí),其失效時(shí)間的變化,具有一定的參考價(jià)值,感興趣的可以了解一下2024-09-09
這篇文章主要介紹了Redis集群詳解,需要的朋友可以參考下2020-07-07
redis數(shù)據(jù)類型_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要介紹了redis數(shù)據(jù)類型，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-08-08
關(guān)于在Redis中使用Pipelining加速查詢的問(wèn)題
這篇文章主要介紹了在Redis中使用Pipelining加速查詢,Redis是一個(gè)client-server模式的TCP服務(wù)，也被稱為Request/Response協(xié)議的實(shí)現(xiàn)，本文通過(guò)一個(gè)例子給大家詳細(xì)介紹，感興趣的朋友一起看看吧2022-05-05
這篇文章主要介紹了Redis的過(guò)期鍵刪除策略原理說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-08-08