MySQL

以下是部署 MySQL 相关数据链路的一些注意事项。

MySQL 做源端

拓扑结构支持

1. 单机
2. 主从 / 双主
3. MHA 集群
4. 多主 NDB 集群
5. 托管（云服务商提供的 MySQL 服务）

详情参考：MySQL 支持的拓扑结构

配置 MySQL 数据库

1. 创建 fzs 用户

CREATE USER 'fzs'@'localhost' IDENTIFIED BY 'fzs';

2. 赋予 fzs 用户权限

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'fzs' IDENTIFIED BY 'fzs';
FLUSH PRIVILEGES;

3. 启用 binlog

• 查看 binlog 状态

  mysql> show variables like '%log_bin%';

• 如果 binlog 是 OFF 状态，修改 my.cnf 文件

  server-id                   = 223344 # Querying variable is called server_id, e.g. SELECT variable_value FROM information_schema.global_variables WHERE variable_name='server_id';
  log_bin                     = mysql-bin
  binlog_format               = ROW
  binlog_row_image            = FULL
  binlog_expire_logs_seconds  = 864000

• 重启 MySQL 服务

  危险

  重启 MySQL 服务会导致数据库服务中断，需要谨慎操作。

  systemctl restart mysql

4. 启用 GTIDs

• 查看 GTID 状态

  mysql> show variables like '%gtid_mode%';

• 如果 GTID 是 OFF 状态，执行以下命令

  SET GLOBAL ENFORCE_GTID_CONSISTENCY = 'WARN';
  SET GLOBAL ENFORCE_GTID_CONSISTENCY = 'ON';
  SET GLOBAL GTID_MODE = 'OFF_PERMISSIVE';
  SET GLOBAL GTID_MODE = 'ON_PERMISSIVE';
  SET GLOBAL GTID_MODE = 'ON';

5. 配置会话超时

• 查看会话超时时间

  mysql> show variables like '%wait_timeout%';

• 如果会话超时时间不是默认值，执行以下命令：

  mysql> set binlog_rows_query_log_events=ON;

6. 开启 query log events

• 查看 query log events 状态

  mysql> show variables like '%binlog_rows_query_log_events%';

• 如果 query log events 是 OFF 状态，执行以下命令：

  mysql> set binlog_rows_query_log_events=ON;

7. 校验 binlog row value options

• 查看 binlog row value options 状态

  mysql> show global variables where variable_name = 'binlog_row_value_options';

• 如果 binlog row value options 是 PARTIAL_JSON 状态，执行以下命令：

  mysql> set @@global.binlog_row_value_options="" ;

详情参考：MySQL 配置

部署 FZS Source Connector

1. 准备以下两个镜像：

• bitnami/kafka
• 9bridges/fzs-source-connector

2. 创建一个 docker-compose-source.yml 文件，内容如下：

   version: '3'
   name: fzs-source
   services:
     kafka:
       image: bitnami/kafka:3.7
       ports:
         - 9092:9092
       environment:
         # KRaft settings
         - KAFKA_CFG_NODE_ID=0
         - KAFKA_CFG_PROCESS_ROLES=controller,broker
         - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093
         # Listeners
         - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
         - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://:9092
         - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
         - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
         - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=PLAINTEXT
     connector:
       image: 9bridges/fzs-source-connector:2.4
       ports:
         - 8083:8083
       links:
         - kafka
       environment:
         - BOOTSTRAP_SERVERS=kafka:9092
         - GROUP_ID=1
         - CONFIG_STORAGE_TOPIC=my_connect_configs
         - OFFSET_STORAGE_TOPIC=my_connect_offsets
         - STATUS_STORAGE_TOPIC=my_connect_statuses

3. 启动 FZS Source Connector：

   docker compose -f docker-compose-source.yml up -d

MySQL 做目标端

1. 创建 fzs 用户

CREATE USER 'fzs'@'localhost' IDENTIFIED BY 'fzs';

2. 赋予 fzs 用户权限

GRANT ALL PRIVILEGES ON *.* TO 'fzs'@'localhost' WITH GRANT OPTION;