key | hash | hashtop | bucket index |
---|---|---|---|
key | hash := alg.hash(key, uintptr(h.hash0)) | top := uint8(hash >> (sys.PtrSize*8 - 8)) | bucket := hash (uintptr(1)h.B - 1),即 hash % 2^B |
例如,對于B = 3,當hash(key) = 4時, hashtop = 0, bucket = 4,當hash(key) = 20時,hashtop = 0, bucket = 4;這個例子我們在搬遷過程還會用到。
內(nèi)存布局類似于這樣:
hashmap-buckets
2. 創(chuàng)建 - makemap
map的創(chuàng)建比較簡單,在參數(shù)校驗之后,需要找到合適的B來申請桶的內(nèi)存空間,接著便是穿件hmap這個結(jié)構,以及對它的初始化。
makemap
3. 訪問 - mapaccess
對于給定的一個key,可以通過下面的操作找到它是否存在
image.png
方法定義為
// returns key, if not find, returns nil func mapaccess1(t *maptype, h *hmap, key unsafe.Pointer) unsafe.Pointer // returns key and exist. if not find, returns nil, false func mapaccess2(t *maptype, h *hmap, key unsafe.Pointer) (unsafe.Pointer, bool) // returns both key and value. if not find, returns nil, nil func mapaccessK(t *maptype, h *hmap, key unsafe.Pointer) (unsafe.Pointer, unsafe.Pointer)
可見在找不到對應key的情況下,會返回nil
4. 分配 - mapassign
為一個key分配空間的邏輯,大致與查找類似;但增加了寫保護和擴容的操作;注意,分配過程和刪除過程都沒有在oldbuckets中查找,這是因為首先要進行擴容判斷和操作;如下:
assign
擴容是整個hashmap的核心算法,我們放在第6部分重點研究。
新建一個溢出桶,并將其拼接在當前桶的尾部,實現(xiàn)了類似鏈表的操作:
// 獲取當前桶的溢出桶 func (b *bmap) overflow(t *maptype) *bmap { return *(**bmap)(add(unsafe.Pointer(b), uintptr(t.bucketsize)-sys.PtrSize)) } // 設置當前桶的溢出桶 func (h *hmap) setoverflow(t *maptype, b, ovf *bmap) { h.incrnoverflow() if t.bucket.kindkindNoPointers != 0 { h.createOverflow() //重點,這里講溢出桶append到overflow[0]的后面 *h.overflow[0] = append(*h.overflow[0], ovf) } *(**bmap)(add(unsafe.Pointer(b), uintptr(t.bucketsize)-sys.PtrSize)) = ovf }
5. 刪除 - mapdelete
刪除某個key的操作與分配類似,由于hashmap的存儲結(jié)構是數(shù)組+鏈表,所以真正刪除key僅僅是將對應的slot設置為empty,并沒有減少內(nèi)存;如下:
mapdelete
6. 擴容 - growWork
首先,判斷是否需要擴容的邏輯是
func (h *hmap) growing() bool { return h.oldbuckets != nil }
何時h.oldbuckets不為nil呢?在分配assign邏輯中,當沒有位置給key使用,而且滿足測試條件(裝載因子>6.5或有太多溢出通)時,會觸發(fā)hashGrow邏輯:
func hashGrow(t *maptype, h *hmap) { //判斷是否需要sameSizeGrow,否則"真"擴 bigger := uint8(1) if !overLoadFactor(int64(h.count), h.B) { bigger = 0 h.flags |= sameSizeGrow } // 下面將buckets復制給oldbuckets oldbuckets := h.buckets newbuckets := newarray(t.bucket, 1(h.B+bigger)) flags := h.flags ^ (iterator | oldIterator) if h.flagsiterator != 0 { flags |= oldIterator } // 更新hmap的變量 h.B += bigger h.flags = flags h.oldbuckets = oldbuckets h.buckets = newbuckets h.nevacuate = 0 h.noverflow = 0 // 設置溢出桶 if h.overflow != nil { if h.overflow[1] != nil { throw("overflow is not nil") } // 交換溢出桶 h.overflow[1] = h.overflow[0] h.overflow[0] = nil } }
OK,下面正式進入重點,擴容階段;在assign和delete操作中,都會觸發(fā)擴容growWork:
func growWork(t *maptype, h *hmap, bucket uintptr) { // 搬遷舊桶,這樣assign和delete都直接在新桶集合中進行 evacuate(t, h, bucketh.oldbucketmask()) //再搬遷一次搬遷過程中的桶 if h.growing() { evacuate(t, h, h.nevacuate) } }
6.1 搬遷過程
一般來說,新桶數(shù)組大小是原來的2倍(在!sameSizeGrow()條件下),新桶數(shù)組前半段可以"類比"為舊桶,對于一個key,搬遷后落入哪一個索引中呢?
假設舊桶數(shù)組大小為2^B, 新桶數(shù)組大小為2*2^B,對于某個hash值X
若 X (2^B) == 0,說明 X 2^B,那么它將落入與舊桶集合相同的索引xi中;
否則,它將落入xi + 2^B中。
例如,對于舊B = 3時,hash1 = 4,hash2 = 20,其搬遷結(jié)果類似這樣。
example.png
源碼中有些變量的命名比較簡單,容易擾亂思路,我們注明一下便于理解。
變量 | 釋義 |
---|---|
x *bmap | 桶x表示與在舊桶時相同的位置,即位于新桶前半段 |
y *bmap | 桶y表示與在舊桶時相同的位置+舊桶數(shù)組大小,即位于新桶后半段 |
xi int | 桶x的slot索引 |
yi int | 桶y的slot索引 |
xk unsafe.Pointer | 索引xi對應的key地址 |
yk unsafe.Pointer | 索引yi對應的key地址 |
xv unsafe.Pointer | 索引xi對應的value地址 |
yv unsafe.Pointer | 索引yi對應的value地址 |
搬遷過程如下:
evacuate
總結(jié)
到目前為止,Golang的map實現(xiàn)細節(jié)已經(jīng)分析完畢,但不包含迭代器相關操作。通過分析,我們了解了map是由數(shù)組+鏈表實現(xiàn)的HashTable,其大小和B息息相關,同時也了解了map的創(chuàng)建、查詢、分配、刪除以及擴容搬遷原理??偟膩碚f,Golang通過hashtop快速試錯加快了查找過程,利用空間換時間的思想解決了擴容的問題,利用將8個key(8個value)依次放置減少了padding空間等等。
到此這篇關于Golang 語言map底層實現(xiàn)原理解析的文章就介紹到這了,更多相關Golang map底層實現(xiàn)原理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!