redis數(shù)據(jù)類型及應(yīng)用場(chǎng)景知識(shí)點(diǎn)總結(jié)

redis數(shù)據(jù)類型及應(yīng)用場(chǎng)景

Redis支持5種數(shù)據(jù)類型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。

一、string

簡(jiǎn)介：Strings數(shù)據(jù)類型是最常用、簡(jiǎn)單的key-value類型，普通的key/ value 存儲(chǔ)都可以歸為此類。value不僅可以是字符串，也可以是數(shù)字。因?yàn)槭嵌M(jìn)制安全的，所以你完全可以把一個(gè)圖片文件的內(nèi)容作為string來(lái)存儲(chǔ)。Redis的string可以完全實(shí)現(xiàn)目前memcached的功能，并且效率更高。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外，Redis還額外提供了下面一些操作：

1. 獲取字符串長(zhǎng)度

2. 往字符串a(chǎn)ppend內(nèi)容

3. 設(shè)置和獲取字符串的某一段內(nèi)容

4. 設(shè)置及獲取字符串的某一位（bit）

5. 批量設(shè)置一系列字符串的內(nèi)容

常用命令: set,get,decr,incr,mget 等。

應(yīng)用場(chǎng)景：

1. 應(yīng)用 Memcached和CKV的所有場(chǎng)景。字符串和數(shù)字直接存取。結(jié)構(gòu)化數(shù)據(jù)需要先序列化，再set到value；相應(yīng)的，get到value后需要反序列化。

2. 可以利用redis的INCR、INCRBY、DECR、DECRBY等指令來(lái)實(shí)現(xiàn)原子計(jì)數(shù)的效果。即可以用來(lái)實(shí)現(xiàn)業(yè)務(wù)上的統(tǒng)計(jì)計(jì)數(shù)需求。也可用于實(shí)現(xiàn)idmaker，即生成全局唯一的id。

3. 存放session key，實(shí)現(xiàn)一個(gè)分布式session系統(tǒng)。Redis的key可以方便地設(shè)置過(guò)期時(shí)間，用于實(shí)現(xiàn)session key的自動(dòng)過(guò)期。驗(yàn)證skey時(shí)先根據(jù)uid路由到對(duì)應(yīng)的redis，如取不到skey，則表示skey已過(guò)期，需要重新登錄；如取到skey且校驗(yàn)通過(guò)則升級(jí)此skey的過(guò)期時(shí)間即可。

4. Set nx或SetNx，僅當(dāng)key不存在時(shí)才Set。可以用來(lái)選舉Master或?qū)崿F(xiàn)分布式鎖：所有Client不斷嘗試使用SetNx master myName搶注Master，成功的那位不斷使用Expire刷新它的過(guò)期時(shí)間。如果Master掛掉了key就會(huì)失效，剩下的節(jié)點(diǎn)又會(huì)發(fā)生新一輪搶奪。

5. 借助redis2.6開(kāi)始支持的lua腳本，可以實(shí)現(xiàn)更安全的2種分布式鎖：一種適用于各進(jìn)程競(jìng)爭(zhēng)但總是單個(gè)進(jìn)程獲取鎖并處理的場(chǎng)景。除非原處理進(jìn)程掛掉因而鎖過(guò)期才會(huì)被其它進(jìn)程獲取到鎖。無(wú)須主動(dòng)解鎖。通過(guò)get、expire/pexpire、setnx ex| px的lua腳本實(shí)現(xiàn)；一種適用于各進(jìn)程競(jìng)爭(zhēng)獲取鎖并處理的場(chǎng)景。通過(guò)set nx ex| px獲取鎖，用完需要通過(guò)先get判斷再del釋放鎖，否則在鎖過(guò)期之前不能獲取到鎖。

6. GetSet， 設(shè)置新值，返回舊值。比如實(shí)現(xiàn)一個(gè)計(jì)數(shù)器，可以用GetSet獲取計(jì)數(shù)并重置為0。

7. GetBit/SetBit/BitOp/BitCount， BitMap的玩法，比如統(tǒng)計(jì)今天的獨(dú)立訪問(wèn)用戶數(shù)時(shí)，每個(gè)注冊(cè)用戶都有一個(gè)offset，他今天進(jìn)來(lái)的話就把他那個(gè)位設(shè)為1，用BitCount就可以得出今天的總?cè)藬?shù)。

8. Append/SetRange/GetRange/StrLen，對(duì)文本進(jìn)行擴(kuò)展、替換、截取和求長(zhǎng)度，對(duì)特定數(shù)據(jù)格式非常有用。

實(shí)現(xiàn)方式：String在redis內(nèi)部存儲(chǔ)默認(rèn)就是一個(gè)字符串，被redisObject所引用，當(dāng)遇到incr,decr等操作時(shí)會(huì)轉(zhuǎn)成數(shù)值型進(jìn)行計(jì)算，此時(shí)redisObject的encoding字段為int。

二、Hash

簡(jiǎn)介：Hash存的是字符串和字符串值之間的映射。Hash將對(duì)象的各個(gè)屬性存入Map里，可以只讀取/更新對(duì)象的某些屬性。這樣有些屬性超長(zhǎng)就讓它一邊呆著不動(dòng)，另外不同的模塊可以只更新自己關(guān)心的屬性而不會(huì)互相并發(fā)導(dǎo)致覆蓋沖突。

常用命令：hget,hset,hgetall 等。

應(yīng)用場(chǎng)景：

1. 存放結(jié)構(gòu)化數(shù)據(jù)，比如用戶信息。在Memcached或CKV中，對(duì)于用戶信息比如用戶的昵稱、年齡、性別、積分等，我們需要先序列化后存儲(chǔ)為一個(gè)字符串的值，這時(shí)候在需要修改其中某一項(xiàng)時(shí)，通常需要將所有值取出反序列化后，修改某一項(xiàng)的值，再序列化存儲(chǔ)回去。這樣不僅增大了開(kāi)銷，也不適用于一些可能并發(fā)操作的場(chǎng)合（比如兩個(gè)并發(fā)的操作都需要修改積分）。而Redis的Hash結(jié)構(gòu)可以使你像在數(shù)據(jù)庫(kù)中Update一個(gè)屬性一樣只修改某一項(xiàng)屬性值。如下圖：

2. Key是用戶ID, value是一個(gè)Map，這個(gè)Map的key是成員的屬性名，value是屬性值，這樣對(duì)數(shù)據(jù)的修改和存取都可以直接通過(guò)其內(nèi)部Map的Key(Redis里稱內(nèi)部Map的key為field), 也就是通過(guò)key(用戶ID) + field(屬性標(biāo)簽) 就可以操作對(duì)應(yīng)屬性數(shù)據(jù)了，既不需要重復(fù)存儲(chǔ)數(shù)據(jù)，也不會(huì)帶來(lái)序列化和并發(fā)修改控制的問(wèn)題。

3. 不過(guò)這里需要注意，Redis提供了接口(hgetall)可以直接取到全部的屬性數(shù)據(jù),但是如果內(nèi)部Map的成員很多，那么涉及到遍歷整個(gè)內(nèi)部Map的操作，由于Redis單線程模型的緣故，這個(gè)遍歷操作可能會(huì)比較耗時(shí)，而對(duì)其它客戶端的請(qǐng)求完全不響應(yīng)，這點(diǎn)需要格外注意。

4. 可用來(lái)建索引。比如User對(duì)象，除了id有時(shí)還要按name來(lái)查詢，可以建一個(gè)Key為user:name:id的Hash，在插入U(xiǎn)ser對(duì)象時(shí)(set user:101{"id":101,"name":"calvin"})， 順便往這個(gè)hash插入一條(hset user:name:id calvin 101)，這時(shí)calvin作為hash里的一個(gè)key，值為101。按name查詢的時(shí)候，用hgetuser:name:id calvin 就能從名為calvin的key里取出id。假如需要使用多種索引來(lái)查找某條數(shù)據(jù)時(shí)可以使用，一個(gè)hash key搞定，避免使用多個(gè)string key存放索引值。

5. HINCRBY同樣可用于實(shí)現(xiàn)idmaker。相對(duì)string類型的idmaker每一個(gè)類型需要一個(gè)key，hash類型的用一個(gè)key即可。

實(shí)現(xiàn)方式：

Redis Hash對(duì)應(yīng)Value內(nèi)部實(shí)際就是一個(gè)HashMap，這里會(huì)有2種不同實(shí)現(xiàn)，這個(gè)Hash的成員比較少時(shí)Redis為了節(jié)省內(nèi)存會(huì)采用類似一維數(shù)組的方式來(lái)緊湊存儲(chǔ)，而不會(huì)采用真正的HashMap結(jié)構(gòu)，對(duì)應(yīng)的value redisObject的encoding為zipmap,當(dāng)成員數(shù)量增大時(shí)會(huì)自動(dòng)轉(zhuǎn)成真正的HashMap,此時(shí)encoding為ht。

三、List

簡(jiǎn)介：List是一個(gè)雙向鏈表，支持雙向的Pop/Push，江湖規(guī)矩一般從左端Push，右端Pop——LPush/RPop，而且還有Blocking的版本BLPop/BRPop，客戶端可以阻塞在那直到有消息到來(lái)。還有RPopLPush/ BRPopLPush，彈出來(lái)返回給client的同時(shí)，把自己又推入另一個(gè)list，LLen獲取列表的長(zhǎng)度。還有按值進(jìn)行的操作：LRem(按值刪除元素)、LInsert(插在某個(gè)值的元素的前后)，復(fù)雜度是O(N)，N是List長(zhǎng)度，因?yàn)長(zhǎng)ist的值不唯一，所以要遍歷全部元素，而Set只要O(log(N))。

按下標(biāo)進(jìn)行的操作：下標(biāo)從0開(kāi)始，隊(duì)列從左到右算，下標(biāo)為負(fù)數(shù)時(shí)則從右到左。LSet ，按下標(biāo)設(shè)置元素值。LIndex，按下標(biāo)返回元素。LRange，不同于POP直接彈走元素，只是返回列表內(nèi)一段下標(biāo)的元素，是分頁(yè)的最愛(ài)。LTrim，限制List的大小，比如只保留最新的20條消息。復(fù)雜度也是O(N)，其中LSet的N是List長(zhǎng)度，LIndex的N是下標(biāo)的值，LRange的N是start的值+列出元素的個(gè)數(shù)，因?yàn)槭擎湵矶皇菙?shù)組，所以按下標(biāo)訪問(wèn)其實(shí)要遍歷鏈表，除非下標(biāo)正好是隊(duì)頭和隊(duì)尾。LTrim的N是移除元素的個(gè)數(shù)。

常用命令：lpush,rpush,lpop,rpop,lrange等。

應(yīng)用場(chǎng)景：

1. 各種列表，比如twitter的關(guān)注列表、粉絲列表等，最新消息排行、每篇文章的評(píng)論等也可以用Redis的list結(jié)構(gòu)來(lái)實(shí)現(xiàn)。

2 消息隊(duì)列，可以利用Lists的PUSH操作，將任務(wù)存在Lists中，然后工作線程再用POP操作將任務(wù)取出執(zhí)行。這里的消息隊(duì)列并沒(méi)有ack機(jī)制，如果消費(fèi)者把任務(wù)給Pop走了又沒(méi)處理完就死機(jī)了怎么辦？解決方法之一是加多一個(gè)sorted set，分發(fā)的時(shí)候同時(shí)發(fā)到list與sorted set，以分發(fā)時(shí)間為score，用戶把任務(wù)做完了之后要用ZREM消掉sorted set里的job，并且定時(shí)從sorted set中取出超時(shí)沒(méi)有完成的任務(wù)，重新放回list。另一個(gè)做法是為每個(gè)worker多加一個(gè)的list，彈出任務(wù)時(shí)改用RPopLPush，將job同時(shí)放到worker自己的list中，完成時(shí)用LREM消掉。如果集群管理(如zookeeper)發(fā)現(xiàn)worker已經(jīng)掛掉，就將worker的list內(nèi)容重新放回主list。

3 利用LRANGE可以很方便的實(shí)現(xiàn)list內(nèi)容分頁(yè)的功能。

4. 取最新N個(gè)數(shù)據(jù)的操作：LPUSH用來(lái)插入一個(gè)內(nèi)容ID，作為關(guān)鍵字存儲(chǔ)在列表頭部。LTRIM用來(lái)限制列表中的項(xiàng)目數(shù)最多為5000。如果用戶需要的檢索的數(shù)據(jù)量超越這個(gè)緩存容量，這時(shí)才需要把請(qǐng)求發(fā)送到數(shù)據(jù)庫(kù)。

實(shí)現(xiàn)方式：

Redis list的實(shí)現(xiàn)為一個(gè)雙向鏈表，即可以支持反向查找和遍歷，更方便操作，不過(guò)帶來(lái)了部分額外的內(nèi)存開(kāi)銷，Redis內(nèi)部的很多實(shí)現(xiàn)，包括發(fā)送緩沖隊(duì)列等也都是用的這個(gè)數(shù)據(jù)結(jié)構(gòu)。

四、Set

簡(jiǎn)介：是一種無(wú)序的集合，集合中的元素沒(méi)有先后順序，不重復(fù)。將重復(fù)的元素放入Set會(huì)自動(dòng)去重。

常用命令：

sadd,spop,smembers,sunion等。

應(yīng)用場(chǎng)景：

1. 某些需要去重的列表，并且set提供了判斷某個(gè)成員是否在一個(gè)set集合內(nèi)的重要接口，這個(gè)也是list所不能提供的。

2. 可以存儲(chǔ)一些集合性的數(shù)據(jù)，比如在微博應(yīng)用中，可以將一個(gè)用戶所有的關(guān)注人存在一個(gè)集合中，將其所有粉絲存在一個(gè)集合。Redis還為集合提供了求交集、并集、差集等操作，可以非常方便的實(shí)現(xiàn)如共同關(guān)注、共同喜好、二度好友等功能，對(duì)上面的所有集合操作，你還可以使用不同的命令選擇將結(jié)果返回給客戶端還是存集到一個(gè)新的集合中。又比如QQ有一個(gè)社交功能叫做“好友標(biāo)簽”，大家可以給你的好友貼標(biāo)簽，比如“大美女”、“土豪”、“歐巴”等等，這里也可以把每一個(gè)用戶的標(biāo)簽都存儲(chǔ)在一個(gè)集合之中。

3. 想要知道某些特定的注冊(cè)用戶或IP地址，他們到底有多少訪問(wèn)了某個(gè)頁(yè)面，可以這樣實(shí)現(xiàn)：SADD page:day1:page_id> user_id> 。想知道特定用戶的數(shù)量，使用SCARD page:day1:page_id>。 需要測(cè)試某個(gè)特定用戶是否訪問(wèn)了這個(gè)頁(yè)面？SISMEMBER page:day1:page_id>。

實(shí)現(xiàn)方式：

set 的內(nèi)部實(shí)現(xiàn)是一個(gè) value永遠(yuǎn)為null的HashMap，實(shí)際就是通過(guò)計(jì)算hash的方式來(lái)快速排重的，這也是set能提供判斷一個(gè)成員是否在集合內(nèi)的原因。

五、Sorted Set

簡(jiǎn)介：有序集合，相比set，元素放入集合時(shí)還要提供該元素的分?jǐn)?shù)，可根據(jù)分?jǐn)?shù)自動(dòng)排序。

常用命令：

zadd,zrange,zrem,zcard等

使用場(chǎng)景：

1. 存放一個(gè)有序的并且不重復(fù)的集合列表，比如twitter 的public timeline可以以發(fā)表時(shí)間作為score來(lái)存儲(chǔ)，這樣獲取時(shí)就是自動(dòng)按時(shí)間排好序的。

2. 可以做帶權(quán)重的隊(duì)列，比如普通消息的score為1，重要消息的score為2，然后工作線程可以選擇按score的倒序來(lái)獲取工作任務(wù)。讓重要的任務(wù)優(yōu)先執(zhí)行。

3. 排行榜相關(guān)：ZADD leaderboard score> username> 。 得到前100名高分用戶很簡(jiǎn)單：ZREVRANGE leaderboard 0 99。用戶的全球排名也相似，只需要執(zhí)行：ZRANK leaderboard username>。

4. 新聞按照用戶投票和時(shí)間排序，ZADD時(shí)的score = points / time^alpha， 這樣用戶的投票會(huì)相應(yīng)的把新聞挖出來(lái)，但時(shí)間會(huì)按照一定的指數(shù)將新聞埋下去。

5. 過(guò)期項(xiàng)目處理：使用unix時(shí)間作為關(guān)鍵字，用來(lái)保持列表能夠按時(shí)間排序。對(duì)current_time和time_to_live進(jìn)行檢索，完成查找過(guò)期項(xiàng)目的艱巨任務(wù)。另一項(xiàng)后臺(tái)任務(wù)使用ZRANGE...WITHSCORES進(jìn)行查詢，刪除過(guò)期的條目。

實(shí)現(xiàn)方式：

Redis sorted set的內(nèi)部使用HashMap和跳躍表(SkipList)來(lái)保證數(shù)據(jù)的存儲(chǔ)和有序，HashMap里放的是成員到score的映射，而跳躍表里存放的是所有的成員，排序依據(jù)是HashMap里存的score,使用跳躍表的結(jié)構(gòu)可以獲得比較高的查找效率，并且在實(shí)現(xiàn)上比較簡(jiǎn)單。

以上就是本次介紹的全部相關(guān)知識(shí)點(diǎn)，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。