淺談PostgreSQL消耗的內(nèi)存計(jì)算方法

wal_buffers默認(rèn)值為-1,此時wal_buffers使用的是shared_buffers,wal_buffers大小為shared_buffers的1/32

autovacuum_work_mem默認(rèn)值為-1,此時使用maintenance_work_mem的值

1 不使用wal_buffers、autovacuum_work_mem

計(jì)算公式為:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+(autovacuum_max_workers * maintenance_work_mem）

假設(shè)PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB
autovacuum_max_workers = 3
maintenance_work_mem=1GB #默認(rèn)值64MB

select(
 (100*(32*1024*1024)::bigint)
 + (100*(32*1024*1024)::bigint)
 + (19*(1024*1024*1024)::bigint)
 + (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.25

此時pg滿載峰值時最多使用28.25GB內(nèi)存,物理內(nèi)容為32GB時,還有3.75GB內(nèi)存給操作系統(tǒng)使用.

2 使用wal_buffers,不使用autovacuum_work_mem

計(jì)算公式為:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem）

假設(shè)PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB 
wal_buffers=16MB #--with-wal-segsize的默認(rèn)值
autovacuum_max_workers = 3 
maintenance_work_mem=1GB

select(
 (100*(32*1024*1024)::bigint)
 + (100*(32*1024*1024)::bigint)
 + (19*(1024*1024*1024)::bigint)
 + (16*1024*1024)::bigint
 + (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.26

此時pg滿載峰值時最多使用28.5GB內(nèi)存,物理內(nèi)容為32GB,還有3.5GB內(nèi)存給操作系統(tǒng)使用.

3 同時使用wal_buffers、autovacuum_work_mem[建議使用]

計(jì)算公式為:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem）+ maintenance_work_mem

假設(shè)PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB 
wal_buffers=262143kb
autovacuum_max_workers = 3
autovacuum_work_mem=256MB
maintenance_work_mem=2GB

select(
  (100*(32*1024*1024)::bigint)
  + (100*(32*1024*1024)::bigint)
  + (19*(1024*1024*1024)::bigint)
  + (262143*1024)::bigint
  + (3 * (256*1024*1024)::bigint )
  + ( 2 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.01

此時pg載峰值時最多使用28.25GB內(nèi)存,物理內(nèi)容為32GB時,還有3.75GB內(nèi)存給操作系統(tǒng)使用.建議所有內(nèi)存消耗根據(jù)硬件配置,也就是使用這個配置.

補(bǔ)充：postgresql 內(nèi)存使用配置

shared_buffers：這是最重要的參數(shù)，postgresql通過shared_buffers和內(nèi)核和磁盤打交道，因此應(yīng)該盡量大，讓更多的數(shù)據(jù)緩存在shared_buffers中。通常設(shè)置為實(shí)際RAM的10％是合理的，比如50000(400M)

work_mem： 在pgsql 8.0之前叫做sort_mem。postgresql在執(zhí)行排序操作時，會根據(jù)work_mem的大小決定是否將一個大的結(jié)果集拆分為幾個小的和 work_mem查不多大小的臨時文件。顯然拆分的結(jié)果是降低了排序的速度。因此增加work_mem有助于提高排序的速度。通常設(shè)置為實(shí)際RAM的2% -4%，根據(jù)需要排序結(jié)果集的大小而定，比如81920(80M)

effective_cache_size：是postgresql能夠使用的最大緩存，這個數(shù)字對于獨(dú)立的pgsql服務(wù)器而言應(yīng)該足夠大，比如4G的內(nèi)存，可以設(shè)置為3.5G(437500)

maintenance_work_mem：這里定義的內(nèi)存只是在CREATE INDEX, VACUUM等時用到，因此用到的頻率不高，但是往往這些指令消耗比較多的資源，因此應(yīng)該盡快讓這些指令快速執(zhí)行完畢：給maintence_work_mem大的內(nèi)存，比如512M(524288)

max_connections： 通常，max_connections的目的是防止max_connections * work_mem超出了實(shí)際內(nèi)存大小。比如，如果將work_mem設(shè)置為實(shí)際內(nèi)存的2%大小，則在極端情況下，如果有50個查詢都有排序要求，而且都使 用2％的內(nèi)存，則會導(dǎo)致swap的產(chǎn)生，系統(tǒng)性能就會大大降低。當(dāng)然，如果有4G的內(nèi)存，同時出現(xiàn)50個如此大的查詢的幾率應(yīng)該是很小的。不過，要清楚 max_connections和work_mem的關(guān)系。

配置 主機(jī): 32GB

shared_buffers = 1024MB
work_mem = 1MB
effective_cache_size = 20480MB
maintenance_work_mem = 1024MB
max_connections = 8000

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。