淺談Redis位圖(Bitmap)及Redis二進(jìn)制中的問(wèn)題

Redis位圖(Bitmap)及二進(jìn)制的問(wèn)題

SETBIT key offset value

對(duì) key 所儲(chǔ)存的字符串值，設(shè)置或清除指定偏移量上的位(bit)。位的設(shè)置或清除取決于 value 參數(shù)，可以是 0 也可以是 1 。當(dāng) key 不存在時(shí)，自動(dòng)生成一個(gè)新的字符串值。字符串會(huì)進(jìn)行伸展(grown)以確保它可以將 value 保存在指定的偏移量上。當(dāng)字符串值進(jìn)行伸展時(shí)，空白位置以 0 填充。offset 參數(shù)必須大于或等于 0 ，小于 2^32 (bit 映射被限制在 512 MB 之內(nèi))。返回值是指定偏移量原來(lái)存儲(chǔ)的位

對(duì)使用大的 offset 的 SETBIT 操作來(lái)說(shuō)，內(nèi)存分配可能造成 Redis 服務(wù)器被阻塞。具體參考 SETRANGE 命令，warning(警告)部分。

127.0.0.1:6379> setbit bit 3 1
(integer) 0
127.0.0.1:6379> getbit bit 0
(integer) 0
127.0.0.1:6379> getbit bit 1
(integer) 0
127.0.0.1:6379> getbit bit 2
(integer) 0
127.0.0.1:6379> getbit bit 3
(integer) 1127.0.0.1:6379> setbit bit 3 0(integer) 1

GETBIT key offset

返回key對(duì)應(yīng)的string在offset處的bit值,當(dāng)offset超出了字符串長(zhǎng)度的時(shí)候，這個(gè)字符串就被假定為由0比特填充的連續(xù)空間。當(dāng)key不存在的時(shí)候，它就認(rèn)為是一個(gè)空字符串，所以offset總是超出范圍，然后value也被認(rèn)為是由0比特填充的連續(xù)空間。到內(nèi)存分配。

127.0.0.1:6379> getbit yhq 5
(integer) 0
127.0.0.1:6379> getbit bit 10
(integer) 0
127.0.0.1:6379> getbit bit 3
(integer) 1

BITCOUNT key [start] [end]

計(jì)算給定字符串中，被設(shè)置為 1 的比特位的數(shù)量。一般情況下，給定的整個(gè)字符串都會(huì)被進(jìn)行計(jì)數(shù)，通過(guò)指定額外的 start 或 end 參數(shù)，可以讓計(jì)數(shù)只在特定的位上進(jìn)行*start和end的單元是字節(jié)而不是bit*。start 和 end 參數(shù)的設(shè)置和 GETRANGE 命令類似，都可以使用負(fù)數(shù)值：比如 -1 表示最后一個(gè)位，而 -2 表示倒數(shù)第二個(gè)位，以此類推。不存在的 key 被當(dāng)成是空字符串來(lái)處理，因此對(duì)一個(gè)不存在的 key 進(jìn)行 BITCOUNT 操作，結(jié)果為 0 。

127.0.0.1:6379> set mykey foobar
OK
127.0.0.1:6379> bitcount youkey
(integer) 0
127.0.0.1:6379> bitcount mykey
(integer) 26
127.0.0.1:6379> bitcount mykey 0 0   # "f" 0110 0110
(integer) 4
127.0.0.1:6379> bitcount mykey 1 1   # "o" 0110 1111
(integer) 6

BITOP operation destkey key [key ...]

對(duì)一個(gè)或多個(gè)保存二進(jìn)制位的字符串 key 進(jìn)行位元操作，并將結(jié)果保存到 destkey 上。

operation 可以是 AND 、 OR 、 NOT 、 XOR 這四種操作中的任意一種：

• BITOP AND destkey key [key ...] ，對(duì)一個(gè)或多個(gè) key 求邏輯與，并將結(jié)果保存到 destkey 。
• BITOP OR destkey key [key ...] ，對(duì)一個(gè)或多個(gè) key 求邏輯或，并將結(jié)果保存到 destkey 。
• BITOP XOR destkey key [key ...] ，對(duì)一個(gè)或多個(gè) key 求邏輯異或，并將結(jié)果保存到 destkey 。
• BITOP NOT destkey key ，對(duì)給定 key 求邏輯非，并將結(jié)果保存到 destkey 。

除了 NOT 操作之外，其他操作都可以接受一個(gè)或多個(gè) key 作為輸入。

處理不同長(zhǎng)度的字符串,當(dāng) BITOP 處理不同長(zhǎng)度的字符串時(shí)，較短的那個(gè)字符串所缺少的部分會(huì)被看作 0 ?？盏?key 也被看作是包含 0 的字符串序列

127.0.0.1:6379> setbit bit1 0 1
(integer) 0
127.0.0.1:6379> setbit bit1 3 1
(integer) 0
127.0.0.1:6379> setbit bit2 0 1
(integer) 0
127.0.0.1:6379> setbit bit2 1 1
(integer) 0
127.0.0.1:6379> setbit bit2 3 1
(integer) 0
127.0.0.1:6379> bitop and andbit bit1 bit2
(integer) 1
127.0.0.1:6379> getbit andbit 0
(integer) 1
127.0.0.1:6379> getbit andbit 1
(integer) 0
127.0.0.1:6379> getbit andbit 2
(integer) 0
127.0.0.1:6379> getbit andbit 3
(integer) 1

BITPOS key bit [start] [end]

返回字符串里面第一個(gè)被設(shè)置為1或者0的bit位。如果我們?cè)诳兆址蛘?字節(jié)的字符串里面查找bit為1的內(nèi)容，那么結(jié)果將返回-1。

如果我們?cè)谧址锩娌檎襜it為0而且字符串只包含1的值時(shí)，將返回字符串最右邊的第一個(gè)空位。如果有一個(gè)字符串是三個(gè)字節(jié)的值為0xff的字符串，那么命令BITPOS key 0將會(huì)返回24，因?yàn)?-23位都是1?；旧?，我們可以把字符串看成右邊有無(wú)數(shù)個(gè)0。然而，如果你用指定start和end范圍進(jìn)行查找指定值時(shí)，如果該范圍內(nèi)沒(méi)有對(duì)應(yīng)值，結(jié)果將返回-1。

127.0.0.1:6379> getbit num 0
(integer) 0
127.0.0.1:6379> getbit num 1
(integer) 0
127.0.0.1:6379> getbit num 2
(integer) 1
127.0.0.1:6379> getbit num 3
(integer) 1
127.0.0.1:6379> getbit num 4
(integer) 0
127.0.0.1:6379> getbit num 5
(integer) 0
127.0.0.1:6379> getbit num 6
(integer) 1
127.0.0.1:6379> getbit num 7
(integer) 0
127.0.0.1:6379> getbit num 8
(integer) 0
127.0.0.1:6379> bitpos num 1
(integer) 2
127.0.0.1:6379> bitpos yhqqhh 1
(integer) -1
127.0.0.1:6379> bitpos yhqqhh 0
(integer) 0

Redis二進(jìn)制中的問(wèn)題1 : 數(shù)字全部是char類型表示

127.0.0.1:6379> set num 2
OK
127.0.0.1:6379> bitcount num
(integer) 3

Redis中,數(shù)字類型其實(shí)是以ASCII形式展現(xiàn)的,即 2=>50,正常2的(一個(gè)字節(jié)8個(gè)二進(jìn)制位)表示為 00000010,bitcount為1。而Redis數(shù)字是字符的"2",所以 "2"[50] 的表示為 00110010,bitcount為3。

Redis中二進(jìn)制從左到右(正常從右到左)

"2"的二進(jìn)制為 00110010

127.0.0.1:6379> getbit num 0
(integer) 0
127.0.0.1:6379> getbit num 1
(integer) 0
127.0.0.1:6379> getbit num 2
(integer) 1
127.0.0.1:6379> getbit num 3
(integer) 1
127.0.0.1:6379> getbit num 4
(integer) 0
127.0.0.1:6379> getbit num 5
(integer) 0
127.0.0.1:6379> getbit num 6
(integer) 1
127.0.0.1:6379> getbit num 7
(integer) 0

redis高級(jí)數(shù)據(jù)結(jié)構(gòu)---bitmap

場(chǎng)景引入

我們?cè)谡ｉ_(kāi)發(fā)環(huán)境中，有時(shí)候需要將bool型數(shù)據(jù)進(jìn)行存取，比如用戶一年里面簽到了多少次，簽到了設(shè)置1，沒(méi)簽到設(shè)置0，要記錄365天，如果使用普通的key/value形式存儲(chǔ)，每個(gè)用戶就需要占據(jù)365鍵值對(duì)，當(dāng)用戶量上億的時(shí)候，需要驚人的存儲(chǔ)空間。更何況是一年的。 為了解決這種問(wèn)題，redis提出了bitmap的數(shù)據(jù)結(jié)構(gòu)，這樣每天用戶簽到只需要占據(jù)一個(gè)位，365天就是365位，46個(gè)字節(jié)，一個(gè)稍微長(zhǎng)一點(diǎn)的字符串就可以完全容納下一個(gè)用戶一年的簽到記錄，大量的節(jié)省存儲(chǔ)空間。位圖的最小單位是比特（bit），每個(gè)bit的取值只能是0或1。

實(shí)現(xiàn)原理

位圖不是特殊的數(shù)據(jù)結(jié)構(gòu)，他的內(nèi)容實(shí)際就是普通的字符串，也就是byte數(shù)組，我們可以使用普通的get/set直接獲取和設(shè)置整個(gè)位圖的內(nèi)容，也可以使用位圖操作getbit/setbit等將byte數(shù)組看成位數(shù)組來(lái)處理。

基本用法

redis的位數(shù)組是自動(dòng)擴(kuò)展的，如果設(shè)置了某個(gè)偏移位置超出了現(xiàn)有的內(nèi)容范圍，就會(huì)自動(dòng)將位數(shù)組進(jìn)行零擴(kuò)充。

舉例：

“h”的ASCII碼值是：01101000

"e"的ASCII碼值是: 01100101

"l"的ASCII碼值是：0110 1100

"o"的ASCII碼值是：0110 1111

將“he” 連起來(lái)是：0110100001100101

即1，2，4，9，10，13，15位為1

以上的示范可以稱之為“零存整取”，即使用單個(gè)位操作設(shè)置位值，使用單個(gè)位操作獲取具體位值。

還有另一種操作稱之為“整存零取”，即使用字符串操作批量設(shè)置值，使用單個(gè)位操作獲取具體位值。

以上介紹了setbit，getbit的操作，redis還提供了位圖的統(tǒng)計(jì)和查找指令：bitcount，bitpos

bitcount同來(lái)統(tǒng)計(jì)指定位值范圍內(nèi)1的個(gè)數(shù)。

bitpos用來(lái)查找指定范圍內(nèi)出現(xiàn)的第一個(gè)0或者1。

127.0.0.1:6379> set w hello
OK
127.0.0.1:6379> bitcount w    //統(tǒng)計(jì)所有的1的個(gè)數(shù)
(integer) 21
127.0.0.1:6379> bitcount w 0 0  //統(tǒng)計(jì)第一個(gè)字符中1的個(gè)數(shù)
(integer) 3
127.0.0.1:6379> bitcount w 0 1  //統(tǒng)計(jì)前兩個(gè)字符中1的個(gè)數(shù)
(integer) 7
127.0.0.1:6379> bitpos w 0   //第一個(gè)0位
(integer) 0
127.0.0.1:6379> bitpos w 1  //第一個(gè)1位
(integer) 1
127.0.0.1:6379> bitpos w 1 1 1   // 從第二個(gè)字符算起，第一個(gè)1位
(integer) 9
127.0.0.1:6379> bitpos w 1 2 2   //  從第三個(gè)字符算起，第一個(gè)1位
(integer) 17
127.0.0.1:6379> 

接下來(lái)介紹魔術(shù)指令 bitfield：

主要解決setbit/getbit只能操作單個(gè)位的弊端。redis 3.2+新增功能。

bitfield有三個(gè)子指令：get、set、incrby，他們都可以對(duì)指定位片段進(jìn)行讀寫，但是最多只能處理64個(gè)連續(xù)的位，如果超過(guò)64位，就得使用多個(gè)子指令，bitfield可以一次執(zhí)行多個(gè)子指令。

127.0.0.1:6379> set w hello
OK
127.0.0.1:6379> bitfield w get u4 0  //從第一個(gè)位開(kāi)始取4個(gè)位，結(jié)果是無(wú)符號(hào)數(shù)（u）
1) (integer) 6
127.0.0.1:6379> bitfield w get u3 2  //從第三個(gè)位開(kāi)始取3個(gè)位，結(jié)果是無(wú)符號(hào)數(shù)
1) (integer) 5
127.0.0.1:6379> bitfield w get i4 0  //從第一個(gè)位開(kāi)始取4個(gè)位，結(jié)果是有符號(hào)數(shù)  (i)
1) (integer) 6
127.0.0.1:6379> bitfield w get i3 2  //從第三個(gè)位開(kāi)始取3個(gè)位，結(jié)果是有符號(hào)數(shù)
1) (integer) -3
127.0.0.1:6379> 

所謂有符號(hào)數(shù)是指獲取的位數(shù)組中第一個(gè)位是符號(hào)位，剩下的才是值，如果第一個(gè)位是1，那就是負(fù)數(shù)。

無(wú)符號(hào)數(shù)表示非負(fù)數(shù)，沒(méi)有符號(hào)位，獲取的位數(shù)全部是是值。

有符號(hào)數(shù)最多可以獲取64位，無(wú)符號(hào)數(shù)只能獲取63位。如果超出限制，redis會(huì)報(bào)參數(shù)錯(cuò)誤。

接下來(lái)演示一個(gè)多指令：

127.0.0.1:6379> bitfield w get u4 0 get u3 2 get i4 0 get i3 2
1) (integer) 6
2) (integer) 5
3) (integer) 6
4) (integer) -3
127.0.0.1:6379> 

接下來(lái)使用set子指令將第二個(gè)字符e，改成a，a的ASCII值是97

127.0.0.1:6379> bitfield w set u8 8 97
1) (integer) 101
127.0.0.1:6379> get w
"hallo"
127.0.0.1:6379> 

接下來(lái)介紹第三個(gè)子指令incrby，他用來(lái)對(duì)指定范圍的位進(jìn)行自增操作，既然是自增操作，就會(huì)存在溢出的情況，如果增加了正數(shù)，會(huì)出現(xiàn)向上溢出，如果是增加了負(fù)數(shù)，就會(huì)出現(xiàn)向下溢出。redis的默認(rèn)處理方式是折返操作，如果出現(xiàn)了溢出，就將溢出的符號(hào)位丟掉。如果是8位無(wú)符號(hào)數(shù)255，加1后就會(huì)溢出，會(huì)全部變?yōu)?.如果是8位有符號(hào)數(shù)127，加1后就會(huì)溢出變成-128。

127.0.0.1:6379> set w hello
OK
127.0.0.1:6379> bitfield w incrby u4 2 1   //從第三個(gè)位開(kāi)始，對(duì)接下來(lái)的4位無(wú)符號(hào)數(shù)進(jìn)行自增+1
1) (integer) 11
127.0.0.1:6379> bitfield w incrby u4 2 1 
1) (integer) 12
127.0.0.1:6379> bitfield w incrby u4 2 1 
1) (integer) 13
127.0.0.1:6379> bitfield w incrby u4 2 1 
1) (integer) 14
127.0.0.1:6379> bitfield w incrby u4 2 1 
1) (integer) 15
127.0.0.1:6379> bitfield w incrby u4 2 1   //出現(xiàn)了溢出折返現(xiàn)象
1) (integer) 0
127.0.0.1:6379> 

bitfield指令提供了溢出策略子指令overflow，用戶可以選擇溢出行為，默認(rèn)是折返（wrap），還可以選擇失?。╢ail）------報(bào)錯(cuò)不執(zhí)行，以及飽和截?cái)啵╯at）-----超過(guò)了范圍就停留在最大值或者最小值。overflow指令只影響接下來(lái)的第一條指令，這條指令執(zhí)行完后溢出策略會(huì)變成默認(rèn)值折返。

飽和截?cái)啵?/p>

127.0.0.1:6379> set w hello
OK
127.0.0.1:6379> bitfield w overflow sat incrby u4 2 1
1) (integer) 11
127.0.0.1:6379> bitfield w overflow sat incrby u4 2 1
1) (integer) 12
127.0.0.1:6379> bitfield w overflow sat incrby u4 2 1
1) (integer) 13
127.0.0.1:6379> bitfield w overflow sat incrby u4 2 1
1) (integer) 14
127.0.0.1:6379> bitfield w overflow sat incrby u4 2 1
1) (integer) 15
127.0.0.1:6379> bitfield w overflow sat incrby u4 2 1   //出現(xiàn)飽和截?cái)啵３肿畲笾?
1) (integer) 15
127.0.0.1:6379> 

失敗不執(zhí)行：

127.0.0.1:6379> set w hello
OK
127.0.0.1:6379> bitfield w overflow fail incrby u4 2 1
1) (integer) 11
127.0.0.1:6379> bitfield w overflow fail incrby u4 2 1
1) (integer) 12
127.0.0.1:6379> bitfield w overflow fail incrby u4 2 1
1) (integer) 13
127.0.0.1:6379> bitfield w overflow fail incrby u4 2 1
1) (integer) 14
127.0.0.1:6379> bitfield w overflow fail incrby u4 2 1
1) (integer) 15
127.0.0.1:6379> bitfield w overflow fail incrby u4 2 1   //不執(zhí)行
1) (nil)
127.0.0.1:6379> 

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。