Redis使用bloom-filter過(guò)濾器實(shí)現(xiàn)推薦去重

前期準(zhǔn)備

redis原生并不帶布隆過(guò)濾器，需要單獨(dú)下載并自行編譯和加載。

1.下載redisbloom插件(redis官網(wǎng)下載即可)

https://github.com/RedisLabsModules/redisbloom/

wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz

2.解壓，cd、make，make后會(huì)生成rebloom.so文件

tar -zxvf v1.1.1.tar.gz
cd redisbloom-1.1.1/
make

3.配置redis.conf文件，在配置文件中加上，目錄為rebloom.so文件的目錄路徑

loadmodule /目錄/rebloom.so

4.重新啟動(dòng)redis

redis-server redis.conf

快速使用

創(chuàng)建filter：[bf.reserve key error_rate initial_size]

bf.reserve users 0.001 100000

bf.reserve命令有三個(gè)參數(shù)，分別是：

• key：鍵
• error_rate：期望錯(cuò)誤率，期望錯(cuò)誤率越低，需要的空間就越大。
• capacity：初始容量，當(dāng)實(shí)際元素的數(shù)量超過(guò)這個(gè)初始化容量時(shí)，誤判率上升。
  

如果不使用bf.reserve命令創(chuàng)建，而是使用Redis自動(dòng)創(chuàng)建的布隆過(guò)濾器，默認(rèn)的error_rate是 0.01，capacity是 100。

隆過(guò)濾器的error_rate越小，需要的存儲(chǔ)空間就越大，對(duì)于不需要過(guò)于精確的場(chǎng)景，error_rate設(shè)置稍大一點(diǎn)也可以。布隆過(guò)濾器的capacity設(shè)置的過(guò)大，會(huì)浪費(fèi)存儲(chǔ)空間，設(shè)置的過(guò)小，就會(huì)影響準(zhǔn)確率，所以在使用之前一定要盡可能地精確估計(jì)好元素?cái)?shù)量，還需要加上一定的冗余空間以避免實(shí)際元素可能會(huì)意外高出設(shè)置值很多?？傊?，error_rate和 capacity都需要設(shè)置一個(gè)合適的數(shù)值。

請(qǐng)查看：https://www.cnblogs.com/-wenli/p/12444639.html

添加元素：[bf.add key options]

bf.add users user3

判斷元素是否存在：[bf.exists key options]

bf.exists users user1

添加多個(gè)元素：[bf.add key ...options]

bf.madd users user4 user5 user6 user

判斷多個(gè)元素是否存在：[bf.add key ...options]

bf.mexists users user4 user5 user6 user7 user8

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。