分布式數(shù)據(jù)庫(kù)(Tencent Distributed SQL,TDSQL)是騰訊打造的一款分布式數(shù)據(jù)庫(kù)產(chǎn)品,具備強(qiáng)一致高可用、全球部署架構(gòu)、分布式水平擴(kuò)展、高性能、企業(yè)級(jí)安全等特性,同時(shí)提供智能 DBA、自動(dòng)化運(yùn)營(yíng)、監(jiān)控告警等配套設(shè)施,為客戶(hù)提供完整的分布式數(shù)據(jù)庫(kù)解決方案。
TDSQL按照官方要求配置相對(duì)較高,現(xiàn)通過(guò)4臺(tái)虛擬機(jī)演示TDSQL的全套部署。 如有不對(duì)的地方請(qǐng)指證 wx:moonstar00
** 機(jī)器數(shù)量規(guī)劃:**
tdsql 規(guī)劃?rùn)C(jī)器如下:4臺(tái)(CPU:2core/MEM:8G/HDD:50G) ,內(nèi)存至少5G以上 ,CPU 至少2C以上, 否則檢查通不過(guò)
#######################
TDSQL安裝部署
#######################
1.設(shè)主機(jī)名
hostnamectl set-hostname huyidb01
hostnamectl set-hostname huyidb02
hostnamectl set-hostname huyidb03
hostnamectl set-hostname huyidb04
2.配置主機(jī)名
vim /etc/hosts
10.85.10.51 huyidb01
10.85.10.52 huyidb02
10.85.10.53 huyidb03
10.85.10.54 huyidb04
3.設(shè)置時(shí)間同步
以huyidb01為主時(shí)鐘
mount /dev/cdrom /mnt
yum -y install ntp*
[root@huyidb01 ~]# vim /etc/ntp.conf
#同步地址
server 127.127.1.0 iburst
systemctl restart ntpd.service
[root@huyidb02 ~]# vim /etc/ntp.conf
server 10.85.10.51
restrict 10.85.10.51 mask 255.255.240.0 nomodify notrap
systemctl restart ntpd.service
ntpdate -u 10.85.10.51
[root@huyidb03 ~]# vim /etc/ntp.conf
server 10.85.10.51
restrict 10.85.10.51 mask 255.255.240.0 nomodify notrap
systemctl restart ntpd.service
ntpdate -u 10.85.10.51
[root@huyidb04 ~]# vim /etc/ntp.conf
server 10.85.10.51
restrict 10.85.10.51 mask 255.255.240.0 nomodify notrap
systemctl restart ntpd.service
ntpdate -u 10.85.10.51
4.配置免密登錄(管理機(jī) 110.85.10.54 上操作)
ssh-keygen -t rsa --這里不用輸入密碼,免密碼登錄
ssh-copy-id 10.85.10.51 --下面要輸入遠(yuǎn)程主機(jī)的密碼
ssh-copy-id 10.85.10.52
ssh-copy-id 10.85.10.53
ssh-copy-id 10.85.10.54
#這里是通過(guò)IP copy的 ,測(cè)試的時(shí)候也只要用IP 例: ssh 10.85.10.51
5.準(zhǔn)備數(shù)據(jù)目錄路徑(所有機(jī)器)
mkdir -p /mysql/data
mkdir -p /mysql/log
#安裝ANSIBLE
unzip tdsql_full_install_ansible.zip
cd tdsql_full_install_ansible
python settings/install_ansible.py
#配置tdsql_hosts
vi /soft/tdsql_full_install_ansible/tdsql_hosts
[envcheck]
tdsql_huyidb01 ansible_ssh_host=10.85.10.51
tdsql_huyidb02 ansible_ssh_host=10.85.10.52
tdsql_huyidb03 ansible_ssh_host=10.85.10.53
tdsql_huyidb04 ansible_ssh_host=10.85.10.54
[zk]
tdsql_zk1 ansible_ssh_host=10.85.10.51
tdsql_zk2 ansible_ssh_host=10.85.10.52
tdsql_zk3 ansible_ssh_host=10.85.10.53
[scheduler]
tdsql_scheduler1 ansible_ssh_host=10.85.10.52
tdsql_scheduler2 ansible_ssh_host=10.85.10.53
[oss]
tdsql_oss1 ansible_ssh_host=10.85.10.52
tdsql_oss2 ansible_ssh_host=10.85.10.53
[chitu]
tdsql_chitu1 ansible_ssh_host=10.85.10.52
tdsql_chitu2 ansible_ssh_host=10.85.10.53
[monitor]
tdsql_monitor1 ansible_ssh_host=10.85.10.52
tdsql_monitor1 ansible_ssh_host=10.85.10.53
[db]
tdsql_db1 ansible_ssh_host=10.85.10.51
tdsql_db2 ansible_ssh_host=10.85.10.52
tdsql_db3 ansible_ssh_host=10.85.10.53
[proxy]
tdsql_proxy1 ansible_ssh_host=10.85.10.51
tdsql_proxy2 ansible_ssh_host=10.85.10.52
tdsql_proxy3 ansible_ssh_host=10.85.10.53
[hdfs]
tdsql_hdfs1 ansible_ssh_host=10.85.10.54
[lvs]
tdsql_lvs1 ansible_ssh_host=10.85.10.52
tdsql_lvs2 ansible_ssh_host=10.85.10.53
[kafka]
tdsql_kafka1 ansible_ssh_host=10.85.10.51
tdsql_kafka2 ansible_ssh_host=10.85.10.52
tdsql_kafka3 ansible_ssh_host=10.85.10.53
[consumer]
tdsql_consumer1 ansible_ssh_host=10.85.10.54
[es]
tdsql_es1 ansible_ssh_host=10.85.10.54
[newdb]
tdsql_newdb1 ansible_ssh_host=1.1.1.1
tdsql_newdb2 ansible_ssh_host=2.2.2.2
tdsql_newdb3 ansible_ssh_host=3.3.3.3
修改 ansible 變量
vi /soft/tdsql_full_install_ansible/group_vars/all
zk_num: 3
netif_name: ens38 #—填入 scheduler(ifconfig 看到的)網(wǎng)卡的名稱(chēng)
tdsql_pass: a+complex+password
zk_rootdir: /tdsqlzk
#下面參數(shù)后面安裝相關(guān)模塊時(shí)在調(diào)整
metadb_ip: 10.120.109.204
metadb_port: 15001
metadb_ip_bak: 10.120.109.205
metadb_port_bak: 15001
metadb_user: hanlon
metadb_password: hanlon
ssh_port: 36000
hdfs_datadir: /data2/hdfs,/data3/hdfs,/data4/hdfs
kafka_logdir: /data2/kafka,/data3/kafka,/data4/kafka
es_mem: 8
es_log_days: 7
es_base_path: /data/application/es-install/es
tdsql_secret_pass: K2JatUv5llBbMrske/k2YbqC
oc_secret_pass: LGhVs0v5nVxcOLQie/k9bb2I
clouddba_metadb_pass: h5Wyg2Xy
#執(zhí)行安裝 part1_site.yml
sh encrypt.sh ---------必須執(zhí)行,更新密文密碼
ansible-playbook -i tdsql_hosts part1_site.yml
執(zhí)行了近20多分鐘 ,執(zhí)行完成要無(wú)failed=0
PLAY RECAP ********************************************************************************************************************************************************
chitu1 : ok=20 changed=19 unreachable=0 failed=0
chitu2 : ok=20 changed=19 unreachable=0 failed=0
db1 : ok=13 changed=12 unreachable=0 failed=0
db2 : ok=13 changed=12 unreachable=0 failed=0
db3 : ok=13 changed=12 unreachable=0 failed=0
huyidb01 : ok=30 changed=19 unreachable=0 failed=0
huyidb02 : ok=27 changed=16 unreachable=0 failed=0
huyidb03 : ok=27 changed=16 unreachable=0 failed=0
huyidb04 : ok=27 changed=17 unreachable=0 failed=0
oss1 : ok=14 changed=11 unreachable=0 failed=0
oss2 : ok=14 changed=11 unreachable=0 failed=0
proxy1 : ok=13 changed=10 unreachable=0 failed=0
proxy2 : ok=13 changed=10 unreachable=0 failed=0
proxy3 : ok=13 changed=10 unreachable=0 failed=0
scheduler1 : ok=25 changed=23 unreachable=0 failed=0
scheduler2 : ok=22 changed=20 unreachable=0 failed=0
zk1 : ok=19 changed=17 unreachable=0 failed=0
zk2 : ok=19 changed=17 unreachable=0 failed=0
zk3 : ok=19 changed=17 unreachable=0 failed=0
#錯(cuò)誤:
TASK [zk_cluster : upload the template file zk_configure.py to the dst host] ************************************************************************************************************************************************************
fatal: [tdsql_zk1]: FAILED! => {“changed”: false, “msg”: “AnsibleUndefinedVariable: “hostvars[‘zk1']” is undefined”}
fatal: [tdsql_zk2]: FAILED! => {“changed”: false, “msg”: “AnsibleUndefinedVariable: “hostvars[‘zk1']” is undefined”}
fatal: [tdsql_zk3]: FAILED! => {“changed”: false, “msg”: “AnsibleUndefinedVariable: “hostvars[‘zk1']” is undefined”}
to retry, use: --limit @/soft/tdsql_full_install_ansible/part1_site.retry
原因: tdsql_hosts 配置標(biāo)簽不規(guī)范 , 版本不同,標(biāo)簽有所不同. 具體的參考模板,只改IP)
解決辦法: tdsql_zk1 改為 zk1
#初始化chitu
http://10.85.10.52/tdsqlpcloud
注意這里的OSS IP ,可能不是實(shí)際IP
可以查看cat /data/application/OSS/conf/scheduler.xml
或 netstat 查看
[root@huyidb02 ~]# netstat -an | grep 8080
tcp 0 0 192.168.58.131:8080 0.0.0.0:* LISTEN
注意這里的OSS IP ,可能不是實(shí)際IP
可以查看cat /data/application/OSS/conf/scheduler.xml
或 netstat 查看
[root@huyidb02 ~]# netstat -an | grep 8080
tcp 0 0 192.168.58.131:8080 0.0.0.0:* LISTEN
機(jī)型查看:
[root@huyidb02 data]# dmidecode | grep “Product Name”
Product Name: VMware Virtual Platform
Product Name: 440BX Desktop Reference Platform
#DB機(jī)型 這里填 440BX
注意:不同DB要在不同的IDC
同一個(gè)網(wǎng)關(guān)組的要在同一個(gè)IDC中
登錄運(yùn)營(yíng)管理平臺(tái):帳號(hào)密碼admin/123456
測(cè)試登錄
[root@huyidb02 data]# mysql -utdsqlpcloud -h10.85.10.52 -P15001 -p'tdsqlpcloud'
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MySQL connection id is 3171
Server version: 5.7.17-11-V2.0R540D002-20191226-1152-log Source distribution
Copyright © 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type ‘help;' or ‘\h' for help. Type ‘\c' to clear the current input statement.
MySQL [(none)]>
在管理庫(kù)修改
vi /soft/tdsql_full_install_ansible/group_vars/all
metadb_ip: 10.85.10.52
metadb_port: 15001
metadb_ip_bak: 10.85.10.53
metadb_port_bak: 15001
metadb_user: tdsqlpcloud
metadb_password: tdsqlpcloud
執(zhí)行安裝 part2_site.yml
sh encrypt.sh ---------必須執(zhí)行,更新密文密碼
ansible-playbook -i tdsql_hosts part2_site.yml
注意:failed=0
PLAY RECAP ********************************************************************************************************************************************************
chitu1 : ok=19 changed=16 unreachable=0 failed=0
chitu2 : ok=5 changed=4 unreachable=0 failed=0
huyidb01 : ok=18 changed=11 unreachable=0 failed=0
huyidb02 : ok=18 changed=11 unreachable=0 failed=0
huyidb03 : ok=18 changed=11 unreachable=0 failed=0
huyidb04 : ok=18 changed=11 unreachable=0 failed=0
monitor1 : ok=12 changed=12 unreachable=0 failed=0
oss1 : ok=14 changed=9 unreachable=0 failed=0
oss2 : ok=14 changed=9 unreachable=0 failed=0
scheduler1 : ok=31 changed=26 unreachable=0 failed=0
scheduler2 : ok=22 changed=18 unreachable=0 failed=0
#在任意一臺(tái) scheduler 機(jī)器上執(zhí)行下面的命令:
cd /data/application/scheduler/bin
./agent_config --mode modify --option=“ocagent_port” --value=“8966”
./agent_config --mode modify --option=“hadoop_dir” --value="/data/home/tdsql/hadoop-3.2.1/bin"
#安裝備用赤兔(如果有另一個(gè)未初始化的 chitu)
將已初始化的 chitu 機(jī)器上拷貝 2 個(gè)文件到未初始化的 chitu 機(jī)器上,并刪除未初始化 chitu 機(jī)器上的 crontab,如下:
10.85.10.52 已初始化 chitu
10.85.10.53 未初始化 chitu
(1)在 52 機(jī)器上,拷貝文件到 53 機(jī)器上
scp -p /data/website/tdsqlpcloud/www/config/database.php 10.85.10.53:/data/website/tdsqlpcloud/www/config/
scp -p /data/website/tdsqlpcloud/www/config/install.lock 10.85.10.53:/data/website/tdsqlpcloud/www/config/
(2)刪除 53 機(jī)器上 nginx 用戶(hù)的 crontab
cp -a /var/spool/cron/nginx /data/tools/nginx_cron_bak
rm -f /var/spool/cron/nginx
(3)測(cè)試,登錄 53 的 chitu
http://10.85.10.53/tdsqlpcloud
至此TDSQL的基本模塊已安裝完成。
安裝其它模塊(可選)
安裝以下模塊之前要確保TDSQL核心模塊安裝無(wú)誤后再進(jìn)行。
如果需要使用hdfs異地冷備存儲(chǔ)binlog和鏡像文件,用于數(shù)據(jù)回檔恢復(fù),安裝hdfs。
如果需要使用tdsql默認(rèn)提供的接入層lvs,安裝lvs。
如果需要使用多源同步功能,安裝kafka和consumer。
如果需要使用網(wǎng)關(guān)日志分析及sql審計(jì)功能,安裝es。
#安裝 hdfs
(1)準(zhǔn)備 hdfs 的數(shù)據(jù)目錄的路徑
首先用 lsblk 查看磁盤(pán)信息
格式化為 xfs 文件系統(tǒng)
mkfs.xfs -f /dev/sdg
創(chuàng)建目錄
mkdir -p /mysql/backup
修改/etc/fstab 文件,設(shè)置自動(dòng)掛載到指定路徑
/dev/sdg /mysql/backup xfs defaults,noatime 0 0
掛載磁盤(pán)
mount -a
(2)設(shè)置主機(jī)名
在 hdfs 機(jī)器上設(shè)置主機(jī)名,hdfs 集群中主機(jī)名不能重復(fù),不能有下劃線(xiàn)、中劃線(xiàn)等特殊字符,
hostnamectl set-hostname huyidb04
(3)檢查 tdsql_hosts 文件
vim tdsql_hosts
[hdfs] —填入 hdfs 機(jī)器地址,hdfs 的數(shù)量只能是 1 或 3
hdfs1 ansible_ssh_host=10.85.10.54
(4)修改 hdfs 變量
修改 group_vars/all 中下面的相關(guān)變量
vim group_vars/all
—
ssh_port: 36000 ----實(shí)際的 ssh 通信端口
hdfs_datadir: /mysql/backup ----多個(gè)迪特 一個(gè)磁盤(pán)一個(gè)路徑,逗號(hào)分隔
注意這些數(shù)據(jù)文件路徑的權(quán)限要是 tdsql,如下:
chown -R tdsql:users /mysql/backup
(5)#安裝 hdfs 單點(diǎn) (我的是單點(diǎn)HDFS)
執(zhí)行安裝
ansible-playbook -i tdsql_hosts hdfs_single.yml
su - tdsql
hdfs namenode -format —格式化 namenode
啟動(dòng) namenode 和 datanode :
hdfs --daemon start namenode
hdfs --daemon start datanode
附:用 tdsql 用戶(hù)關(guān)閉 hdfs 進(jìn)程 :
hdfs --daemon stop datanode
hdfs --daemon stop namenode
(6)#安裝 hdfs 高可用架構(gòu) (如果是高可用 用下面的方式安裝)
3 個(gè)節(jié)點(diǎn),并且 zk 集群不能是單點(diǎn)。
執(zhí)行安裝 hdfs
ansible-playbook -i tdsql_hosts hdfs.yml
su - tdsql
用 tdsql 用戶(hù)初始化 hdfs 集群,初始化順序如下,初始化的工作只用做一次,不要重復(fù)初始化
用 tdsql 用戶(hù)在 hdfs1 機(jī)器,格式化 zk
hdfs zkfc -formatZK
用 tdsql 用戶(hù)在所有機(jī)器,啟動(dòng) journalnode
hdfs --daemon start journalnode
用 tdsql 用戶(hù)在 hdfs1 機(jī)器,格式化并啟動(dòng) namenode
hdfs namenode -format
hdfs --daemon start namenode
用 tdsql 用戶(hù)在 hdfs2 機(jī)器,格式化 namenode
hdfs namenode -bootstrapStandby
用 tdsql 用戶(hù)啟動(dòng) hdfs 集群,啟動(dòng)順序如下,已經(jīng)啟動(dòng)的進(jìn)程就不用重復(fù)再啟動(dòng)了,查看啟動(dòng)的進(jìn)程”jps”
在所有 hdfs 機(jī)器上啟動(dòng) journalnode
hdfs --daemon start journalnode
在 hdfs1 和 hdfs2 上啟動(dòng) namenode
hdfs --daemon start namenode
在 hdfs1 和 hdfs2 上啟動(dòng) zkfc
hdfs --daemon start zkfc
在所有 hdfs 機(jī)器上啟動(dòng) datanode
hdfs --daemon start datanode
附:用 tdsql 用戶(hù)關(guān)閉 hdfs 集群,關(guān)閉順序如下
在所有 hdfs 機(jī)器上關(guān)閉 datanode
hdfs --daemon stop datanode
在 hdfs1 和 hdfs2 上關(guān)閉 zkfc
hdfs --daemon stop zkfc
在 hdfs1 和 hdfs2 上關(guān)閉 namenode
hdfs --daemon stop namenode
在所有 hdfs 機(jī)器上關(guān)閉 journalnode
hdfs --daemon stop journalnode
(7)在 hdfs 集群下查看/tdsqlbackup 路徑
用 tdsql 用戶(hù)執(zhí)行以下命令
#查看/tdsqlbackup 目錄是否已經(jīng)被自動(dòng)創(chuàng)建,權(quán)限是否如下
hadoop fs -ls /
drwxr-xr-x - tdsql supergroup 0 2019-01-02 17:52 /tdsqlbackup
如果目錄不在或者權(quán)限不對(duì),用下面命令修改:
hadoop fs -mkdir /tdsqlbackup
hadoop fs -chown tdsql.supergroup /tdsqlbackup
(8)管理 hdfs 集群
用 tdsql 用戶(hù)執(zhí)行以下命令
查看所有 namenode 節(jié)點(diǎn)狀態(tài),及主備情況(只適用于高可用 3 節(jié)點(diǎn)架構(gòu))
hdfs haadmin -getAllServiceState
查看所有 datanode 節(jié)點(diǎn)的狀態(tài),及上報(bào)的容量情況
hdfs dfsadmin -report
(9)注意
用 tdsql 用戶(hù)執(zhí)行 jps 命令,可以看到 hdfs 的進(jìn)程名稱(chēng)(只適用于高可用 3 節(jié)點(diǎn)架構(gòu))
hdfs1 和 hdfs2 機(jī)器上應(yīng)該看到 NameNode、JournalNode、DataNode、DFSZKFailoverController
hdfs3 機(jī)器上應(yīng)該看到 DataNode、JournalNode
(10)配置 hdfs 監(jiān)控
如果有 HDFS,但是沒(méi)有配置 HDFS 監(jiān)控,到"“集群管理->集群配置”中設(shè)置“HDFS 服務(wù)列表”",
注意:如上圖所示填寫(xiě) namenode 節(jié)點(diǎn)(一般 2 個(gè))的 50070 端口
生產(chǎn)環(huán)境不能用單節(jié)點(diǎn) hdfs,單節(jié)點(diǎn)架構(gòu)的 hdfs 的端口號(hào)是 9870
#安裝 lvs
lvs 機(jī)器建議單獨(dú)部署,不建議和別人復(fù)用(最多只能和 zk 復(fù)用)。
(1)檢查 tdsql_hosts 文件
vim tdsql_hosts
[lvs] —填入 lvs 地址,lvs 的數(shù)量固定為 2
lvs1 ansible_ssh_host=10.85.10.52
lvs2 ansible_ssh_host=10.85.10.53
(2)安裝 lvs
ansible-playbook -i tdsql_hosts lvs.yml
(3)赤兔前臺(tái)操作 lvs 接入層管理 -> LVS 設(shè)備資源管理 -> 上報(bào) LVS 設(shè)備資源
上報(bào) lvs 機(jī)器信息(2 臺(tái) lvs 機(jī)器信息都要上報(bào))
設(shè)備 IP:填入 LVS 機(jī)器的通信 ip 地址。
網(wǎng)卡名字:通信網(wǎng)卡設(shè)備名。
子網(wǎng)掩碼:填入實(shí)際的子網(wǎng)掩碼。
IDC:lvs 機(jī)器需要?jiǎng)澐值酵粋€(gè) IDC 中,比如這里的“IDC_SZ_YDGL_0401_000001”。
創(chuàng)建 VIP(不能選取部署的機(jī)器 IP 作為 VIP,需要另選之外一個(gè))
VIP:規(guī)劃一個(gè) vip 的地址,vip 的地址要和 lvs 機(jī)器的通信 ip 地址在同一個(gè)網(wǎng)段內(nèi)。
設(shè)備 IP 列表:填入 lvs 機(jī)器的通信 ip 地址,一行一個(gè)。
創(chuàng)建 VIPGroup
VIPGroup 名:新建一個(gè) vipgroup,取一個(gè)有意義的名字。
#安裝 kafka
(1)檢查 tdsql_hosts 文件
vim tdsql_hosts
[kafka] ----填入 kafka 集群的地址,kafka 的數(shù)量固定為 3
kafka1 ansible_ssh_host=10.85.10.51 ----kafka 機(jī)器的 java 虛擬機(jī)占用 3 個(gè) g 以上內(nèi)存
kafka2 ansible_ssh_host=10.85.10.52
kafka3 ansible_ssh_host=10.85.10.53
(2)修改多源同步變量
修改 group_vars/all 中下面的相關(guān)變量
vim group_vars/all
kafka_logdir: /mysql/log/kafka #日志要?jiǎng)?chuàng)建kafka目錄
(3)執(zhí)行安裝多源同步
ansible-playbook -i tdsql_hosts kafka.yml
(4)驗(yàn)證是否安裝成功
cd /data/application/kafka_2.12-2.3.1/logs
vim server.log ----查看 kafka 啟動(dòng)信息
#安裝 consumer
(1) 查看 tdsql_hosts 文件
[consumer] —填入消費(fèi)者的地址,數(shù)量固定為 1
consumer1 ansible_ssh_host=10.240.139.35
(2)執(zhí)行安裝 consumer
ansible-playbook -i tdsql_hosts consumer.yml
(3)啟動(dòng)消費(fèi)者服務(wù)
在 consumer 的機(jī)器上,使用下面命令啟動(dòng)消費(fèi)者服務(wù)
cd /data/application/consumer/bin/
./binlogconsumermgn --zklist 10.240.139.35:2181 --zkrootpath /noshard1 --kafkazklist 10.240.139.35:2181 --kafkazkrootpath /kafka --dev eth1
參數(shù)說(shuō)明:
–zklist ZK 的 ip:port,可以寫(xiě)多個(gè) ZK ip:port,多個(gè)之間用英文逗號(hào)分隔
–zkrootpath 注意整理 zk 根節(jié)點(diǎn)與部署的時(shí)候 group_vars/all 下的” zk_rootdir”一致
–kafkazklist kafka 所在 zk,通常與–zklist 一樣
–kafkazkrootpath kafka 在 ZK 上的根節(jié)點(diǎn),固定是/kafka
–dev consumer 的網(wǎng)卡名稱(chēng)
例如:
./binlogconsumermgn --zklist 10.85.10.51:2181,10.85.10.52:2181,10.85.10.53:2181 --zkrootpath /tdsqlzk --kafkazklist 10.85.10.51:2181,10.85.10.52:2181,10.85.10.53:2181 --kafkazkrootpath /kafka --dev ens38
#安裝 es
(1) 查看 tdsql_hosts 文件(不能與 chitu 同一臺(tái)機(jī)器)
[es] —填入 es 的地址,數(shù)量固定為 1
es1 ansible_ssh_host=10.85.10.54
修改變量文件 vim group_vars/all
es_mem: 8 -----內(nèi)存占用,如果這里寫(xiě) 8 則至少占用 8*2=16G 內(nèi)存
es_log_days: 7 -----日志保留天數(shù)
es_base_path: /data/application/es-install/es -----es 數(shù)據(jù)存放路徑
改為
es_mem: 2
es_log_days: 7
es_base_path: /mysql/data/es-install/es
(2)執(zhí)行安裝 es
ansible-playbook -i tdsql_hosts es_single.yml
(3)啟停命令(在 es 機(jī)器上操作):
# stop
ps -ef |grep elasticsearch | grep -v ‘grep'| awk ‘{print $2}' | xargs kill -9
ps -ef |grep logstash | grep -v ‘grep'| awk ‘{print $2}' | xargs kill -9
ps -ef |grep es-cleaner | grep -v ‘grep'| awk ‘{print $2}' | xargs kill -9
ps -ef |grep ‘node/bin/node' | grep -v ‘grep'| awk ‘{print $2}' | xargs kill -9
# start
tdsql 用戶(hù)啟動(dòng):
cd /data/application/es-install/es/master/tools
./start-elasticsearch.sh
cd /data/application/es-install/es/data/tools
./start-elasticsearch.sh
root 用戶(hù)啟動(dòng):
cd /data/application/es-install/logstash/tools
./start-logstash.sh
cd /data/application/es-install/es-cleaner
./start-es-cleaner.sh
cd /data/application/es-install/kibana-5.6.4-linux-x86_64/bin/
nohup ./kibana
# 檢測(cè)是否正常啟動(dòng)
ps -ef |grep elasticsearch | grep -v ‘grep' |wc -l
輸出為:4 --------我的單個(gè)ES 個(gè)數(shù)為0
ps -ef |grep logstash | grep -v ‘grep' |wc -l
輸出為:2
ps -ef |grep es-cleaner | grep -v ‘grep' |wc -l
輸出為:1
ps -ef |grep ‘node/bin/node' | grep -v ‘grep' |wc -l
輸出為:1
(3)es 的驗(yàn)證及相關(guān)配置
輸入 es IP 地址,打開(kāi) es 前臺(tái)頁(yè)面。
啟動(dòng) es 后,需要把實(shí)例詳情中的“網(wǎng)關(guān)審計(jì)數(shù)據(jù)是否入庫(kù)”打開(kāi),選擇“是”。
只有在打開(kāi)這個(gè)開(kāi)關(guān)后的日志才會(huì)入 es,為了可以定位問(wèn)題,需要的話(huà)一定要盡早打開(kāi)。
至此,TDSQL所有模塊已部署完成,后期可以直接使用和測(cè)試了。
到此這篇關(guān)于TDSQL 安裝部署附圖的實(shí)現(xiàn)(圖文)的文章就介紹到這了,更多相關(guān)TDSQL 安裝部署內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!