golang中cache組件的使用及groupcache源碼解析

groupcache 簡(jiǎn)介

在軟件系統(tǒng)中使用緩存,可以降低系統(tǒng)響應(yīng)時(shí)間,提高用戶體驗(yàn),降低某些系統(tǒng)模塊的壓力.
groupcache是一款開源的緩存組件.與memcache與redis不同的時(shí),groupcache不需要單獨(dú)的部署,可以作為你程序的一個(gè)庫(kù)來(lái)使用. 這樣方便我們開發(fā)的程序部署.

本篇主要解析groupcache源碼中的關(guān)鍵部分， lru的定義以及如何做到同一個(gè)key只加載一次。

緩存填充以及加載抑制的實(shí)現(xiàn)

上篇有提到load函數(shù)的實(shí)現(xiàn)， 緩存填充的邏輯也體現(xiàn)在這里。
groupcache盡量避免從源中獲取數(shù)據(jù)，當(dāng)本地?cái)?shù)據(jù)缺失時(shí)會(huì)先從peer中獲取，peer中命中則直接填充到本地，未命中才會(huì)從源中加載，這正是緩存填充的實(shí)現(xiàn)邏輯。
而加載抑制，避免重復(fù)加載的功能是依靠 singleflight包實(shí)現(xiàn)的。
這個(gè)包中主要有兩個(gè)結(jié)構(gòu)體：

call用來(lái)存放獲取結(jié)果（val）和錯(cuò)誤(err), 每個(gè)key對(duì)應(yīng)一個(gè)call實(shí)例。wg用來(lái)控制請(qǐng)求的等待。

type call struct {
	wg  sync.WaitGroup
	val interface{}
	err error
}

Group用來(lái)存放所有的call,記錄所有的請(qǐng)求。

type Group struct {
	mu sync.Mutex       // protects m
	m  map[string]*call // lazily initialized
}

Group.Do是功能的實(shí)現(xiàn)。
當(dāng)接到一個(gè)請(qǐng)求時(shí)， 會(huì)首先加鎖, 并初始化用來(lái)記錄請(qǐng)求的map。map的鍵為請(qǐng)求的key, 值為call

g.mu.Lock()
if g.m == nil {
	g.m = make(map[string]*call)
}

如果當(dāng)前的key已經(jīng)在請(qǐng)求加載的過(guò)程中，那么解除上一步定義的沖突鎖，并等待已經(jīng)存在的加載請(qǐng)求結(jié)束后返回。

if c, ok := g.m[key]; ok {
	g.mu.Unlock()
	c.wg.Wait()
	return c.val, c.err
}

如果當(dāng)前的key沒有已經(jīng)存在的加載過(guò)程，那么創(chuàng)建一個(gè)call實(shí)例, 加入到map記錄中，并向call.wg中加入一個(gè)記錄，以阻塞其他請(qǐng)求，解除上一步定義的沖突鎖。

c := new(call)
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock()

調(diào)用傳入的函數(shù)（作者并沒有將這個(gè)功能局限于數(shù)據(jù)獲取，通過(guò)傳入的func可以實(shí)現(xiàn)不同功能的控制）,將結(jié)果賦值給call,獲取完成后wg.done結(jié)束阻塞。

c.val, c.err = fn()
c.wg.Done()

然后刪除map記錄

g.mu.Lock()
delete(g.m, key)
g.mu.Unlock()

這個(gè)功能的實(shí)現(xiàn)主要是依靠sync.WaitGroup的阻塞實(shí)現(xiàn)， 這里也是對(duì)初學(xué)者最難理解的地方。
可以想象一個(gè)場(chǎng)景：
大學(xué)寢室中，你和你的室友都要到食堂買午飯，你對(duì)室友說(shuō)：“你自己去就行，給我?guī)б环荨薄Ｈ缓竽憔驮谒奚嶂械却嵊鸦貋?lái)。
在這個(gè)場(chǎng)景中，你和室友就是請(qǐng)求，你在等待就是阻塞。

cache(lru)

上篇提到的主緩存和熱緩存均是依靠cache實(shí)現(xiàn)。
cache的實(shí)現(xiàn)依靠雙向鏈表。
MaxEntries 最大的存儲(chǔ)量
OnEvicted當(dāng)發(fā)生驅(qū)逐時(shí)（即到達(dá)MaxEntries）執(zhí)行的操作
ll雙向鏈表本體
cache key對(duì)應(yīng)鏈表中的元素

type Cache struct {
	// MaxEntries is the maximum number of cache entries before
	// an item is evicted. Zero means no limit.
	MaxEntries int

	// OnEvicted optionally specifies a callback function to be
	// executed when an entry is purged from the cache.
	OnEvicted func(key Key, value interface{})

	ll    *list.List
	cache map[interface{}]*list.Element
}

添加時(shí)會(huì)先進(jìn)行初始化map，如果key已存在，那么會(huì)將key的index提到首位（這里的鏈表不存在index，僅為方便理解），并更新其value。
如果不存在則直接插入到首位。
如果插入后的長(zhǎng)度超過(guò)限制， 會(huì)執(zhí)行清理操作

func (c *Cache) Add(key Key, value interface{}) {
	if c.cache == nil {
		c.cache = make(map[interface{}]*list.Element)
		c.ll = list.New()
	}
	if ee, ok := c.cache[key]; ok {
		c.ll.MoveToFront(ee)
		ee.Value.(*entry).value = value
		return
	}
	ele := c.ll.PushFront(entry{key, value})
	c.cache[key] = ele
	if c.MaxEntries != 0  c.ll.Len() > c.MaxEntries {
		c.RemoveOldest()
	}
}

清理時(shí)會(huì)刪除尾部元素， 這里就解釋了為什么每次操作時(shí)會(huì)把元素提到首位。

func (c *Cache) RemoveOldest() {
	if c.cache == nil {
		return
	}
	ele := c.ll.Back()
	if ele != nil {
		c.removeElement(ele)
	}
}

以上就是golang中cache組件的使用之groupcache的詳細(xì)內(nèi)容，更多關(guān)于go groupcache用法的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！