操作系統(tǒng) | 服務(wù)器IP | 節(jié)點(diǎn)名稱 | 角色 |
---|---|---|---|
centos 7.2 | 172.17.0.2 | pghost1 | 主庫 |
centos 7.2 | 172.17.0.5 | pghost2 | 備庫 |
主要目錄規(guī)范:
要注意的是:編譯安裝Pg我們使用的是root賬戶,但是一般情況下,我們對數(shù)據(jù)庫的部署操作等應(yīng)該使用非root的pg超級管理員賬戶,所以需要我們預(yù)先創(chuàng)建相關(guān)用戶和目錄,并設(shè)置相關(guān)權(quán)限:
$ groupadd postgres $ useradd postgres -g postgres $ passwd postgres $ mkdir -p /data/pg10/pg_root $ mkdir -p /data/pg10/tbs $ chown -R postgres:postgres /data/pg10
實(shí)驗(yàn)用的postgresql為10.0版本
pghost1 和 pghost2 分別下載該版本的源碼安裝包
wget https://ftp.postgresql.org/pub/source/v10.0/postgresql-10.0.tar.gz
下載后進(jìn)行解壓
tar -zxvf postgresql-10.0.tar.gz
安裝前依賴
由于 configure過程中依賴操作系統(tǒng)包zlib、readline等,所以我實(shí)用yum預(yù)先安裝:
yum groupinstall "Development tools” yum install -y bison flex readline readline-devel zlib zlib-devel
主備庫數(shù)據(jù)庫安裝
安裝前,我們先分別對pghost1 和 pghost2創(chuàng)建postgresql的偏好環(huán)境變量
vi /etc/profile.d/pgsql.sh
追加以下內(nèi)容:
export PGPORT=1921 export PGUSER=postgres export PGDATA=/data/pg10/pg_root export LANG=en_US.utf8 export PGHOME=/apps/svr/pgsql export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib export PATH=$PGHOME/bin:$PATH:. export MANPATH=$PGHOME/share/man:$MANPATH alias rm='rm -i' alias ll='ls -lh'
保存文件,并讓環(huán)境變量生效:
source /etc/profile.d/pgsql.sh
再進(jìn)入剛剛解壓的 postgresql-10.0 目錄中,執(zhí)行以下命令:
./configure —prefix=/apps/svr/pgsql_10.0/ --with-pgport=1921
之后進(jìn)行編譯安裝:
gmake gmake install
安裝完成后,我們可以使用以下命令確認(rèn)是否安裝成功:
$ postgres --version postgres (PostgreSQL) 10.0
復(fù)制功能部署
在啟動數(shù)據(jù)庫服務(wù)搭建主從結(jié)構(gòu)前,有幾個比較重要的配置文件需要我們額外地進(jìn)行創(chuàng)建與設(shè)置的,它們分別是:
下面我們會在實(shí)踐中,具體地對上述的文件的配置進(jìn)行相關(guān)說明
上一節(jié),我們編譯安裝好了postgresql,我們接下來切換操作用戶
su postgresql
然后使用initdb工具初始化數(shù)據(jù)庫:
echo "123456" >> /data/pg10/pgpass initdb -D /data/pg10/pg_root -E UTF8 --locale=C -U postgres --pwfile=/data/pg10/pgpass
執(zhí)行上述命令后,在/data/pg10/pg_root目錄下會產(chǎn)生系統(tǒng)數(shù)據(jù)文件,
PG_VERSION pg_dynshmem pg_multixact pg_snapshots pg_tblspc postgresql.auto.conf base pg_hba.conf pg_notify pg_stat pg_twophase postgresql.conf global pg_ident.conf pg_replslot pg_stat_tmp pg_wal pg_commit_ts pg_logical pg_serial pg_subtrans pg_xact
之后我們開始配置 /data/pg10/pg_root/postgresql.conf,修改以下幾個關(guān)鍵項(xiàng):
listen_addresses = '*' wal_level = replica archive_mode = on archive_command = '/bin/date' max_wal_senders = 10 wal_keep_segments = 512 hot_standby = on
注:主庫和備庫的 /data/pg10/pg_root/postgresql.conf 配置建議完全一致
接下來我們在 備庫 上配置 /data/pg10/pg_root/pg_hba.conf
host replication repuser 172.17.0.2/32 md5 host replication repuser 172.17.0.5/32 md5
其實(shí)最好主庫也配置一份,因?yàn)橹鲙旌蛡鋷斓慕巧皇庆o止的,在手動或庫出現(xiàn)故障情況下,它們的角色會互相更換。
之后,我們先啟動主庫 pghost1了 (記得切換到postgres用戶):
$ pg_ctl start -D $PGDATA ... ... database system is ready to accept connections done server started
使用PostgreSQL的超級管理員postgres登錄到創(chuàng)建流復(fù)制用戶repuser,流復(fù)制用戶需要有 REPLICATION權(quán)限和LOGIN權(quán)限
$ psql -U postgres -p 1921 psql (10.0) Type "help" for help. postgres=# CREATE USER repuser REPLICATION LOGIN CONNECTION LIMIT 5 ENCRYPTED PASSWORD 'domac123'; CREATE ROLE
以上命令基本完成主庫上的配置,接下來我們需要熱備生成一個備庫,制作備庫過程中主庫仍然可以讀寫,不影響業(yè)務(wù),我們在主庫上創(chuàng)建備份任務(wù):
postgres=# select pg_start_backup('domacli_bak'); pg_start_backup ----------------- 0/2000060 (1 row)
pg_start_backup() 函數(shù)會在主庫上發(fā)起一個在線備份,命令執(zhí)行后,將數(shù)據(jù)文件壓縮拷貝到備份節(jié)點(diǎn)上:
$ tar czvf pg_root.tar.gz pg_root --exclude=pg_root/pg_wal $ scp pg_root.tar.gz postgres@172.17.0.5:/data/pg10
pg_wal目錄不是必須復(fù)制的,可以排除這個目錄,以節(jié)省空間,然后我們回到備庫的/data/pg10下,執(zhí)行主庫備份文件的解壓:
$ tar xvf pg_root.tar.gz
解壓后,我們回到主節(jié)點(diǎn),執(zhí)行停止備份命令,結(jié)束這次備份流程
postgres=# select pg_stop_backup(); NOTICE: pg_stop_backup complete, all required WAL segments have been archived pg_stop_backup ---------------- 0/2000168 (1 row)
以上的命令表示完成在線備份,但備庫上扔需要做一些配置,我們回到備庫上,配置 /data/pg10/pg_root/recovery.conf文件,如果該文件不存在,可以執(zhí)行以下命令,在軟件目錄中復(fù)制一個:
cp $PGHOME/share/recovery.conf.sample /data/pg10/pg_root/recovery.conf
備庫的 recovery.conf 配置以下參數(shù)
recovery_target_timeline = 'latest' standby_mode = on primary_conninfo = 'host=172.17.0.2 port=1921 user=repuser'
主要觀察recovery.conf中的參數(shù)primary_conninfo 中的 user=repuser, 還記得我們前面在主庫上創(chuàng)建的流傳輸用戶repuser嗎?由于主備直接數(shù)據(jù)同步需要在用戶下執(zhí)行操作,而主庫上我們創(chuàng)建repuser的時候,為了安全我設(shè)置了密碼, 但recovery.conf我們沒有配置明文密碼,那么程序的密碼如何獲得呢?
我們建議把密碼設(shè)置在 ~/.pgpass中:
你也可以直接在上面的recovery.conf 設(shè)置 primary_conninfo = ‘host=172.17.0.2 port=1921 user=repuser password=domac123', 但這樣會有安全風(fēng)險
$ cd ~ $ touch .pgpass $ chmod 0600 .pgpass
填寫以下內(nèi)容:
172.17.0.2:1921:replication:repuser:domac123 172.17.0.5:1921:replication:repuser:domac123
好了,當(dāng)這些備注都就緒之后,我們可以開始啟動我們的備庫了:
$ pg_ctl start ... database system is ready to accept read only connections done server started
如果備庫正常啟動,我們可以在主備兩庫上觀察WAL發(fā)生與接收進(jìn)程是否都同時工作,以確認(rèn)異步流工作是否正常工作
主庫上:
ps -ef | grep wal postgres 6939 6935 0 23:16 ? 00:00:00 postgres: wal writer process postgres 6983 6935 0 23:42 ? 00:00:00 postgres: wal sender process repuser 172.17.0.5(45910) streaming 0/3000140
備庫上:
ps -ef | grep wal postgres 26481 26479 0 23:42 ? 00:00:00 postgres: wal receiver process streaming 0/3000140 postgres 26486 26448 0 23:42 ? 00:00:00 grep --color=auto wal
使用 pg_basebackup 方式部署流復(fù)制
接下來,介紹一種操作相對簡潔的方式,上述我們配置操作所牽涉到的主要步驟有:
以上三個步驟可以合成一步完成,PostgreSQL提供內(nèi)置的pg_basebackup命令行工具支持對主庫發(fā)起一個在線基準(zhǔn)備份,并自動進(jìn)入備份模式進(jìn)行數(shù)據(jù)庫基準(zhǔn)備份,備份完成后自動從備份模式退出,不需要執(zhí)行額外的pg_start_backup 和pg_stop_backup 命令顯式地聲明進(jìn)入備份模式和退出備份模式,pg_basebackup工具是對數(shù)據(jù)庫實(shí)例級進(jìn)行的物理備份,因此這個工具通常作為備份工具對據(jù)庫進(jìn)行基準(zhǔn)備份
pg_basebackup工具發(fā)起備份需要超級用戶權(quán)限或REPLICATION權(quán)限,注意max_wal_senders參數(shù)配置,因?yàn)閜g_basebackup工具將消耗至少一個WAL發(fā)送進(jìn)程。本節(jié)將演示通過pg_basebackup工具部署異步流復(fù)制,之前已經(jīng)在pghost2上部署了一個備庫,我們先將這個備庫刪除,之后通過pg_basebackup工具重新做一次備庫,刪除pghost2上的備庫只需要先停備庫之后刪除備庫數(shù)據(jù)庫數(shù)據(jù)文件即可,如下所示:
進(jìn)入pghost2服務(wù)器上(172.17.0.5)
$ pg_ctl stop -m fast waiting for server to shut down.... done server stopped $ rm -rf $PGDATA $ rm -rf /data/pg10/pg_tbs
接下來,在pghost2上,使用pg_basebackup觸發(fā)基準(zhǔn)備份
pg_basebackup -D $PGDATA -Fp -Xs -v -P -h 172.17.0.2 -p 1921 -U repuser -W
執(zhí)行后,會看到相關(guān)的日志輸出
pg_basebackup: initiating base backup, waiting for checkpoint to complete pg_basebackup: checkpoint completed pg_basebackup: write-ahead log start point: 0/20007A8 on timeline 1 pg_basebackup: starting background WAL receiver 22655/22655 kB (100%), 1/1 tablespace pg_basebackup: write-ahead log end point: 0/2000888 pg_basebackup: waiting for background process to finish streaming ... pg_basebackup: base backup completed
從以上日志信息看出pg_basebackup命令首先對數(shù)據(jù)庫做一次checkpoint,之后基于時間點(diǎn)做一個全庫基準(zhǔn)備份,全備過程中會拷貝$PGDATA數(shù)據(jù)文件和表空間文件到備庫節(jié)點(diǎn)對應(yīng)目錄
最后,跟之前使用pg_start_backup的方式一樣,備庫記得配置recovery.conf
recovery_target_timeline = 'latest' standby_mode = on primary_conninfo = 'host=172.17.0.2 port=1921 user=repuser password=domac123'
如果也配置了pgpass文件,可以使用下屬的配置:
recovery_target_timeline = 'latest' standby_mode = on primary_conninfo = 'host=172.17.0.2 port=1921 user=repuser'
到此為止,主備的配置基本完成,當(dāng)然,穩(wěn)妥起見,我們最好多動手動手,嘗試在主庫上創(chuàng)建并插入數(shù)據(jù),觀察備庫上是否同步這些操作,我們再主庫上創(chuàng)建一張表:
postgres=# create table test_ms(id int4); CREATE TABLE postgres=# insert into test_ms values(6); INSERT 0 1
主庫上,我們創(chuàng)建test_ms表,并插入了一條數(shù)據(jù),我們就可以在備庫上進(jìn)行查詢觀察是否同步成功:
postgres=# select * from test_ms; id ---- 6 (1 row)
接下來,我們再主庫上,再操作
postgres=# insert into test_ms values(9); INSERT 0 1 postgres=# delete from test_ms where id=6; DELETE 1
這個時候,我們發(fā)現(xiàn)備庫的數(shù)據(jù)也都正常同步上了:
postgres=# select * from test_ms; id ---- 9 (1 row)
那么我們?nèi)绻趥浞萆线M(jìn)行數(shù)據(jù)操作,情況會怎樣呢?我們再備份上執(zhí)行:
postgres=# insert into test_ms values(6); ERROR: cannot execute INSERT in a read-only transaction STATEMENT: insert into test_ms values(6); ERROR: cannot execute INSERT in a read-only transaction
觀察這些錯誤日志,我們可以了解到,異步流主從結(jié)構(gòu)中,作為從節(jié)點(diǎn)的備庫目前處于的是只讀狀態(tài),它不能進(jìn)行任何寫入操作。
主備切換
前面介紹了流復(fù)制的部署,但要注意的是主庫和備庫的角色不是靜態(tài)存在的,在維護(hù)過程中可以對兩者的進(jìn)行角色的切換,舉個例子,當(dāng)主庫掛掉的時候,需要迅速進(jìn)行主備切換,讓備庫升級為主庫,原主庫降級到備庫,主備切換是PostgreSQL高可用的基礎(chǔ),下面就介紹相關(guān)的操作。
postgresql 9.0版本流復(fù)制只能通過創(chuàng)建文件方式進(jìn)行主備切換,9.1后,開始支持使用pg_ctl promote觸發(fā)方式,相比文件觸發(fā)方式操作更方便
操作前,我們先介紹一個系統(tǒng)函數(shù)查用來判斷主備角色的方法:
postgres=# select pg_is_in_recovery(); pg_is_in_recovery ------------------- f (1 row)
如果返回 f 說明是主庫,返回 t 說明是備庫
pg_ctl promote 切換方式
我們使用以下的步驟進(jìn)行主備切換:
1、關(guān)閉主庫,建議使用 -m fast 模式關(guān)閉
$ pg_ctl stop -m fast
2、在備庫上執(zhí)行pg_ctl promote命令激活備庫,如果recovery.conf變成recovery.done表示備庫已切換成主庫
pg_ctl promote -D $PGDATA waiting for server to promote....2018-09-30 00:10:30.222 UTC [26480] LOG: received promote request LOG: redo done at 0/4000028 LOG: last completed transaction was at log time 2018-09-29 23:50:52.502513+00 LOG: selected new timeline ID: 2 LOG: archive recovery complete LOG: database system is ready to accept connections Sun Sep 30 00:10:30 UTC 2018 Sun Sep 30 00:10:30 UTC 2018 done server promoted
命令執(zhí)行后,如果原來的 recovery.conf 更名為 recovery.done, 表示切換成功
3、這時如果需要將老的主庫切換成備庫,在老的主庫的$PGDATA目錄下也創(chuàng)建recovery.conf文件(創(chuàng)建方式跟之前介紹的一樣,內(nèi)容可以和原從庫pghost2的一樣,只是primary_conninfo的IP換成對端pghost2的IP)
例如,主庫上的 recovery.conf 設(shè)置為:
recovery_target_timeline = 'latest' standby_mode = on primary_conninfo = 'host=172.17.0.5 port=1921 user=repuser password=domac123'
如果要求更高的安全性,可以參考如下配置:
recovery_target_timeline = 'latest' standby_mode = on primary_conninfo = 'host=172.17.0.5 port=1921 user=repuser'
與此同時,和原備庫pghost2一樣,我們建議把repuser的密碼設(shè)置在pghost1 ~/.pgpass中:
$ cd ~ $ touch .pgpass $ chmod 0600 .pgpass
填寫以下內(nèi)容:
172.17.0.2:1921:replication:repuser:domac123 172.17.0.5:1921:replication:repuser:domac123
4、啟動老的主庫pghost1,這時觀察主、備進(jìn)行是否正常,嚴(yán)格點(diǎn)可以在新的主庫上對剛才的test_ms表進(jìn)行操作,觀察數(shù)據(jù)是否同步成功。
pg_ctl start
我們在新主庫(pghost2)上執(zhí)行:
postgres=# select pg_is_in_recovery(); pg_is_in_recovery ------------------- f (1 row)
發(fā)現(xiàn)它目前的角色已經(jīng)是主庫了, 在新備庫(pghost1)上繼續(xù)執(zhí)行:
postgres=# select pg_is_in_recovery(); pg_is_in_recovery ------------------- t (1 row)
發(fā)現(xiàn)它目前的角色也已經(jīng)切換為備庫了
我們再pghost2上,執(zhí)行數(shù)據(jù)插入操作:
postgres=# insert into test_ms values(11); INSERT 0 1
這時,pghost1上也觀察到數(shù)據(jù)同步成功:
postgres=# select * from test_ms; id ---- 9 11 (2 rows)
到這里為止,主從切換的演練基本完成了
總結(jié)
異步流復(fù)制模式中,主庫提交的事務(wù)不會等待備庫接收WAL日志流并返回確認(rèn)信息,因此異步流復(fù)制模式下主庫與備庫的數(shù)據(jù)版本上會存在一定的處理延遲,延遲的時間主要受主庫壓力、備庫主機(jī)性能、網(wǎng)絡(luò)帶寬等影響,當(dāng)正常情況下,主備的延遲通常在毫秒級的范圍內(nèi),當(dāng)主庫宕機(jī),這個延遲就主要受到故障發(fā)現(xiàn)與切換時間的影響而拉長,不過雖然如此,這些數(shù)據(jù)延遲的問題,可以從架構(gòu)或相關(guān)自動化運(yùn)維手段不斷優(yōu)化設(shè)置。
好了,以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。
標(biāo)簽:來賓 株洲 晉城 衡陽 錦州 烏海 珠海 蚌埠
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Postgresql主從異步流復(fù)制方案的深入探究》,本文關(guān)鍵詞 Postgresql,主從,異步,流,復(fù)制,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。