在nginx的進程模型下,類似流量統(tǒng)計、流量控制、數(shù)據(jù)共享、等需要多個工作進程共同配合完成任務,共享內(nèi)存是一個重要的進程通訊的方案。本文介紹在nginx的代碼中與共享內(nèi)存相關的功能,包括ngx_shmem與ngx_slab的使用與注意事項,但不包括ngx_slab中實現(xiàn)的內(nèi)存管理算法。
ngx_shmem的使用
ngx_shmem.c/h文件只是對mmap()/munmap()系統(tǒng)調(diào)用或者shmget()/shmdt()的一個很簡單的封裝。實現(xiàn)了ngx風格的基礎庫,可以申請和釋放一段連續(xù)的共享內(nèi)存空間。一般用于固定長度的共享數(shù)據(jù)使用,使用過程中數(shù)據(jù)長度固定不會伸縮。
typedef struct {
u_char *addr;
size_t size;
...
} ngx_shm_t;
ngx_int_t ngx_shm_alloc(ngx_shm_t *shm);
void ngx_shm_free(ngx_shm_t *shm);
在ngxin中共享內(nèi)存的使用流程,一般是由master進程創(chuàng)建,worker進程通過繼承的方式獲得內(nèi)存指針。
關于ngx_shmem的使用,可以參考ngx_event_module_init()中部分片段,這部分代碼在共享內(nèi)存中創(chuàng)建了若干個變量,用于記錄各個狀態(tài)(accepted/reading/writing...)的請求數(shù)量,并在ngx_event_module中的幾個關鍵事件入口對這幾個變量進行加減統(tǒng)計操作。實現(xiàn)統(tǒng)計所有worker進程當前的請求狀態(tài)。
shm.size = size;
ngx_str_set(&shm.name, "nginx_shared_zone");
shm.log = cycle->log;
if (ngx_shm_alloc(&shm) != NGX_OK) {
return NGX_ERROR;
}
shared = shm.addr;
...
ngx_stat_accepted = (ngx_atomic_t *) (shared + 3 * cl);
ngx_stat_handled = (ngx_atomic_t *) (shared + 4 * cl);
ngx_stat_requests = (ngx_atomic_t *) (shared + 5 * cl);
ngx_stat_active = (ngx_atomic_t *) (shared + 6 * cl);
ngx_stat_reading = (ngx_atomic_t *) (shared + 7 * cl);
ngx_stat_writing = (ngx_atomic_t *) (shared + 8 * cl);
ngx_stat_waiting = (ngx_atomic_t *) (shared + 9 * cl);
關于這個功能的更多細節(jié),可以查看代碼中的NGX_STAT_STUB宏定義相關代碼與ngx_http_stub_status_module。
ngx_slab的使用
ngx_shmem是一層極簡的封裝,實現(xiàn)了共享內(nèi)存的基本功能。但我們程序中大部分的場景共享數(shù)據(jù)并不會一個固定大小的結(jié)構,而更多是像ngx_array、ngx_list、ngx_queue、ngx_rbtree這類大小可以變化的數(shù)據(jù)結(jié)構。
我們期望能有像ngx_pool_t一樣可以動態(tài)申請釋放空間一個內(nèi)存池。ngx_slab正是一個這樣的結(jié)構體,原理上與系統(tǒng)的malloc()有相識之處都是通過一系列算法實現(xiàn)對一段段內(nèi)存片段的申請與釋放。只不過ngx_slab操作的對象是基于ngx_shmem的共享內(nèi)存。
先看一下ngx_slab的接口
typedef struct {
ngx_shmtx_t mutex;
...
void *data; /* 一般存放從pool中申請獲得的根數(shù)據(jù)地址(pool中第一個申請的數(shù)據(jù)接口) */
void *addr; /* 使用ngx_shmem申請獲得的共享內(nèi)存基地址 */
} ngx_slab_pool_t;
void ngx_slab_init(ngx_slab_pool_t *pool);
void *ngx_slab_alloc(ngx_slab_pool_t *pool, size_t size);
void *ngx_slab_alloc_locked(ngx_slab_pool_t *pool, size_t size);
void *ngx_slab_calloc(ngx_slab_pool_t *pool, size_t size);
void *ngx_slab_calloc_locked(ngx_slab_pool_t *pool, size_t size);
void ngx_slab_free(ngx_slab_pool_t *pool, void *p);
void ngx_slab_free_locked(ngx_slab_pool_t *pool, void *p);
可以看到接口并不復雜,alloc與calloc的區(qū)別在于是否對申請獲得的內(nèi)存段清零,_locked結(jié)尾的接口表示操作的pool已經(jīng)是獲取到鎖的。在ngx_slab_pool_t的結(jié)構體有一個ngx_shmtx_t的互斥鎖用于同步多進程同時訪問pool的并發(fā)場景。注意ngx_slab_alloc()會先獲取鎖、然后申請空間、最后釋放鎖。而ngx_slab_alloc_locked()則直接申請空間,認為程序已經(jīng)在其他邏輯中獲得鎖了。
在nginx的開發(fā)中使用ngx_shmem一般需要遵循以下初始化流程:
- 模塊在配置解析過程中調(diào)用ngx_shared_memory_add()接口,注冊一段共享內(nèi)存。提供共享內(nèi)存大小與內(nèi)存初始化的回調(diào)函數(shù)。
- 框架在ngx_init_cycle()中使用ngx_shmem申請內(nèi)存,并初始化ngx_slab,然后回調(diào)模塊注冊的初始化函數(shù)
- 模塊使用ngx_slab的申請/是否接口
在這個流程中,涉及到ngx_shared_memory_add()接口與對應的ngx_shm_zone_t結(jié)構體。
struct ngx_shm_zone_s {
void *data;
ngx_shm_t shm;
ngx_shm_zone_init_pt init;
void *tag;
void *sync;
ngx_uint_t noreuse; /* unsigned noreuse:1; */
};
ngx_shm_zone_t *ngx_shared_memory_add(ngx_conf_t *cf, ngx_str_t *name,
size_t size, void *tag);
其中值得一提的是noreuse屬性,這個屬性控制了在nginx的reload過程中是否會重新申請共享內(nèi)存。
由于關于ngx_init_cycle()函數(shù)較長,這個流程可以通過查找/* create shared memory */這個注釋或者cycle->shared_memory這個對象查看相關代碼。
關于ngx_slab更多細節(jié)的使用,建議可以參考ngx_http_limit_conn_module,這是通過共享內(nèi)存實現(xiàn)連接數(shù)限制的模塊,模塊復雜度底,是一個很好的參考范例。
參考資料
深入理解Nginx(第2版) https://book.douban.com/subject/26745255/
ngx_http_limit_conn_module http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。