mysql-canal-rabbitmq 安裝部署超詳細教程

# binlog 日志存放路徑
log-bin=D:\env\mysql-5.7.28-winx64\binlog
# 日志中記錄每一行數(shù)據(jù)被修改的形式
binlog-format=ROW
# 當前機器的服務(wù) ID, 如果為集群時不能重復
server_id=1

mysql> show variables like '%log_bin%';
+---------------------------------+----------------------+
| Variable_name          | Value        |
+---------------------------------+----------------------+
| log_bin             | ON          |
| log_bin_basename        | D:\env\mysql-5    |
| log_bin_index          | D:\env\mysql-5.index |
| log_bin_trust_function_creators | OFF         |
| log_bin_use_v1_row_events    | OFF         |
| sql_log_bin           | ON          |
+---------------------------------+----------------------+
6 rows in set, 1 warning (0.00 sec)

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

sudo wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz
sudo tar -zxvf canal.deployer-1.1.4.tar.gz

sudo wget https://github.com/alibaba/canal/releases/download/canal-1.1.5-alpha-1/canal.deployer-1.1.5-SNAPSHOT.tar.gz
sudo tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz

# tcp bind ip, 當前節(jié)點的 IP 地址
canal.ip = 192.168.2.108
# register ip to zookeeper, 注冊到 ZK 的 IP 地址, 如下圖1.
canal.register.ip = 192.168.2.108

canal.zkServers = zk集群

# tcp, kafka, RocketMQ, 最新版本 1.1.5 可以直接連接 rabbitmq
canal.serverMode = rabbitmq

# destinations, 當前 server 上部署的 instance 列表, 對應(yīng)各個實例文件夾(../conf/instance_name>)名稱
canal.destinations = example2

# 設(shè)置 mq 服務(wù)器地址, 此處為 rabbitmq 的服務(wù)器地址
# !! 此處下載后默認的配置是有配置IP:端口的
# rabbitmq 此處則不需要配置端口
canal.mq.servers = 192.168.208.100

# 一下幾項均為 1.1.5 新版本新增支持 rabbitmq 的配置
canal.mq.vhost=/
canal.mq.exchange=example2-ex # 指定 rabbitmq 上的 exchange 名稱, "新建 `Exchange`" 步驟新建的名稱
canal.mq.username=admin # 連接 rabbitmq 的用戶名
canal.mq.password=**** # 連接 rabbitmq 的密碼
canal.mq.aliyunuid=

# position info, 數(shù)據(jù)庫的連接信息
canal.instance.master.address=192.168.2.108:3306
# 以下兩個配置, 需要在上面配置的 address 的數(shù)據(jù)庫中執(zhí)行 `SHOW MASTER STATUS` 獲取的 `File` 和 `Position` 兩個字段值
canal.instance.master.journal.name=mysql-5.7
canal.instance.master.position=674996

# table meta tsdb info, 禁用 tsdb 記錄 table meta 的時間序列版本
canal.instance.tsdb.enable=false

# username/password, 實例連接數(shù)據(jù)的用戶名和密碼
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

# table regex, 正則匹配需要監(jiān)聽的數(shù)據(jù)庫表
canal.instance.filter.regex=ysb\\.useropcosttimes_prod

# mq config, 指定 rabbitmq 設(shè)置綁定的路由, 詳見"配置rabbitmq"步驟里的第三步配置的`Routing key`
canal.mq.topic=example2-routingkey

λ .\startup.bat
start cmd : java  -Xms128m -Xmx512m -XX:PermSize=128m -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -Dapplication.codeset=UTF-8 -Dfile.encoding=UTF-8 -server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,address=9099,server=y,suspend=n -DappName=otter-canal -Dlogback.configurationFile="d:\env\green\canal-1.1.5\bin\\..\conf\logback.xml" -Dcanal.conf="d:\env\green\canal-1.1.5\bin\\..\conf\canal.properties" -classpath "d:\env\green\canal-1.1.5\bin\\..\conf\..\lib\*;d:\env\green\canal-1.1.5\bin\\..\conf" java  -Xms128m -Xmx512m -XX:PermSize=128m -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -Dapplication.codeset=UTF-8 -Dfile.encoding=UTF-8 -server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,address=9099,server=y,suspend=n -DappName=otter-canal -Dlogback.configurationFile="d:\env\green\canal-1.1.5\bin\\..\conf\logback.xml" -Dcanal.conf="d:\env\green\canal-1.1.5\bin\\..\conf\canal.properties" -classpath "d:\env\green\canal-1.1.5\bin\\..\conf\..\lib\*;d:\env\green\canal-1.1.5\bin\\..\conf" com.alibaba.otter.canal.deployer.CanalLauncher
Java HotSpot(TM) Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Listening for transport dt_socket at address: 9099

sudo wget https://github.com/alibaba/canal/releases/download/canal-1.1.5-alpha-1/canal.admin-1.1.5-SNAPSHOT.tar.gz
sudo tar -zxvf canal.admin-1.1.5-SNAPSHOT.tar.gz

server:
 port: 8089
spring:
 jackson:
  date-format: yyyy-MM-dd HH:mm:ss
  time-zone: GMT+8

spring.datasource:
 address: 192.168.2.108:3306
 database: canal_manager
 username: canal
 password: canal
 driver-class-name: com.mysql.jdbc.Driver
 # 數(shù)據(jù)庫連接字符串末尾需添加`serverTimezone=UTC`, 否則啟動時會報時區(qū)異常;
 url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=truecharacterEncoding=UTF-8useSSL=falseserverTimezone=UTC
 hikari:
  maximum-pool-size: 30
  minimum-idle: 1

canal:
 # 配置 canal-admin 的管理員賬號和密碼
 adminUser: admin
 adminPasswd: 123456

λ .\startup.bat
start cmd : java  -Xms128m -Xmx512m -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -Dapplication.codeset=UTF-8 -Dfile.encoding=UTF-8 -DappName=canal-admin -classpath "D:\env\green\canal-1.1.5-admin\bin\\..\conf\..\lib\*;D:\env\green\canal-1.1.5-admin\bin\\..\conf" com.alibaba.otter.canal.admin.CanalAdminApplication
2020-04-13 20:01:39.495 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - Starting CanalAdminApplication on Memento-PC with PID 50696 (D:\env\green\canal-1.1.5-admin\lib\canal-admin-server-1.1.5-SNAPSHOT.jar started by Memento in D:\env\green\canal-1.1.5-admin\bin)
2020-04-13 20:01:39.527 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - No active profile set, falling back to default profiles: default
2020-04-13 20:01:39.566 [main] INFO o.s.b.w.s.c.AnnotationConfigServletWebServerApplicationContext - Refreshing org.springframework.boot.web.servlet.context.AnnotationConfigServletWebServerApplicationContext@13a5bf6: startup date [Mon Apr 13 20:01:39 CST 2020]; root of context hierarchy
2020-04-13 20:01:41.149 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat initialized with port(s): 8089 (http)
2020-04-13 20:01:41.166 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Initializing ProtocolHandler ["http-nio-8089"]
2020-04-13 20:01:41.176 [main] INFO org.apache.catalina.core.StandardService - Starting service [Tomcat]
2020-04-13 20:01:41.177 [main] INFO org.apache.catalina.core.StandardEngine - Starting Servlet Engine: Apache Tomcat/8.5.29
...
2020-04-13 20:01:42.996 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]
2020-04-13 20:01:43.007 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-04-13 20:01:43.019 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''
2020-04-13 20:01:43.024 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 3.919 seconds (JVM running for 5.241)

GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;

# canal admin config
canal.admin.manager = 192.168.2.108:8089

canal.instance.global.mode = manager

@rem set canal_conf=...
set canal_conf=%conf_dir%\canal_local.properties

# 2. position info, 指定 mysql 開始同步的 binlog 位置信息
canal.instance.master.address=192.168.0.25:63306
canal.instance.master.journal.name=mysql-bin.001349
canal.instance.master.position=198213313

# 3. username/password, 設(shè)置同步 mysql 的數(shù)據(jù)庫用戶名和密碼
canal.instance.dbUsername=xxxx
canal.instance.dbPassword=xxx

# 4. table regex, 正則匹配需要同步的數(shù)據(jù)表
canal.instance.filter.regex=xxxx

# 5. mq config, 指定 mysql 上的路由綁定, 見 `1.2.3`
canal.mq.topic=example2-routingkey

canal.instance.tsdb.enable = true
canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal

canal.destinations # 當前 server 上部署的 instance 列表
canal.conf.dir # conf 目錄所在路徑
canal.auto.scan # 開啟 instance 自動掃描
# 如果配置為 true, canal.conf.dir 目錄下的 instance 配置變化會自動觸發(fā)
# 1. instance 目錄新增: 觸發(fā) instance 配置載入, lazy 為 true 時則自動啟動;
# 2. instance 目錄刪除: 卸載對應(yīng) instance 配置, 如已啟動則進行關(guān)閉;
# 3. instance.properties 文件變化: reload instance 配置, 如已啟動則自動進行重啟操作;
canal.auto.scan.interval # instance 自動掃描間隔時間, 單位 s
canal.instance.global.mode # 全局配置加載方式
canal.instance.global.lazy # 全局 lazy 模式
canal.instance.global.manager.address # 全局的 manager 配置方式的鏈接信息
canal.instance.global.spring.xml # 全局的 spring 配置方式的組件文件
canal.instance.example.mode
canal.instance.example.lazy
canal.instance.example.spring.xml
# instance 級別的配置定義, 如有配置, 會自動覆蓋全局配置定義模式

canal.instance.tsdb.enable # 是否開啟 table meta 的時間序列版本記錄功能
canal.instance.tsdb.dir # 時間序列版本的本地存儲路徑, 默認為 instance 目錄
canal.instance.tsdb.url # 時間序列版本的數(shù)據(jù)庫連接地址, 默認為本地嵌入式數(shù)據(jù)庫
canal.instance.tsdb.dbUsername # 時間序列版本的數(shù)據(jù)庫連接賬號
canal.instance.tsdb.dbPassword # 時間序列版本的數(shù)據(jù)庫連接密碼

canal.id # 每個 canal server 實例的唯一標識
canal.ip # canal server 綁定的本地 IP 信息, 如果不配置, 默認選擇一個本機 IP 進行啟動服務(wù)
canal.port # canal server 提供 socket 服務(wù)的端口
canal.zkServers # canal server 連接 zookeeper 集群的連接地址, 例如: 10.20.144.22:2181,10.20.144.23:2181
canal.zookeeper.flush.period # canal 持久化數(shù)據(jù)到 zookeeper 上的更新頻率, 單位 ms
canal.instance.memory.batch.mode # canal 內(nèi)存 store 中數(shù)據(jù)緩存模式
# 1. ITEMSIZE: 根據(jù) buffer.size 進行限制, 只限制記錄的數(shù)量
# 2. MEMSIZE: 根據(jù) buffer.size * buffer.memunit 的大小, 限制緩存記錄的大小;
canal.instance.memory.buffer.size # canal 內(nèi)存 store 中可緩存 buffer 記錄數(shù), 需要為 2 的指數(shù)
canal.instance.memory.buffer.memunit # 內(nèi)存記錄的單位大小, 默認為 1KB, 和 buffer.size 組合決定最終的內(nèi)存使用大小
canal.instance.transactions.size # 最大事務(wù)完整解析的長度支持, 超過該長度后, 一個事務(wù)可能會被拆分成多次提交到 canal store 中, 無法保證事務(wù)的完整可見性
canal.instance.fallbackIntervalInSeconds # canal 發(fā)生 mysql 切換時, 在新的 mysql 庫上查找 binlog 時需要往前查找的時間, 單位 s
# 說明: mysql 主備庫可能存在解析延遲或者時鐘不一致, 需要回退一段時間, 保證數(shù)據(jù)不丟
canal.instance.detecting.enable # 是否開啟心跳檢查
canal.instance.detecting.sql # 心跳檢查 sql, insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.interval.time # 心跳檢查頻率, 單位 s
canal.instance.detecting.retry.threshold # 心跳檢查失敗重試次數(shù)
canal.instance.detecting.heatbeatHaEnable # 心跳檢查失敗后, 是否開啟 mysql 自動切換
# 說明: 比如心跳檢查失敗超過閾值后, 如果該配置為 true, canal 會自動連到 mysql 備庫獲取 binlog 數(shù)據(jù)
canal.instance.network.receiveBufferSize # 網(wǎng)絡(luò)連接參數(shù), SocketOptions.SO_RCVBUF
canal.instance.network.sendBufferSize # 網(wǎng)絡(luò)連接參數(shù), SocketOptions.SO_SNDBUF
canal.instance.network.soTimeout # 網(wǎng)絡(luò)連接參數(shù), SocketOptions.SO_TIMEOUT