本文向大家介绍的是CloudCanal 数据迁移同步工具，能够实现多种数据源之间的数据同步，并且提供可视化操作界面，帮助我们提升开发效率，让我们一起快速了解CloudCanal并掌握数据同步操作吧～

CloudCanal数据同步工具

官网 CloudCanal-企业级数据实时同步工具，可视化操作，高效进行多源异构数据源间的数据互通与融合，助力企业构建丰富的数据应用场景

社区 主页 | Clougence问答社区AskCUG

社区版文档 产品介绍 | Glougence

1 认识 CloudCanal

1.1 产品介绍

CloudCanal 是一款数据迁移同步工具，提供友好的可视化操作界面，支持多种数据源间的数据迁移、数据同步、结构迁移、数据校验；

1.2 产品功能

CloudCanal 具备一些对用户非常有用的核心功能，如下表所述

1.3 产品架构

• 控制台完成 CloudCanal 的主要产品化能力
• Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用
• 任务内核任务内核进程，负责具体同步任务的执行

2 CloudCanal 高可用部署

2.1 准备工作

1. 安装 Docker

不同操作系统可以参考 Docker 官网文档 进行安装。

2. 安装 Docker Compose

这里提供一个国内的镜像站的安装命令，也可以参考 Docker-Compose 安装文档。

curl -L https://get.daocloud.io/docker/pose/releases/donload/1.28.5/docker-pose-`uname -s`-`uname -m` > /usr/local/bin/docker-pose 
chmod +x /usr/local/bin/docker-pose 
ln -s /usr/local/bin/docker-pose /usr/bin/docker-pose

2.2 安装cloudCanal

2.2.1 下载安装包

阿里云 OSS 下载最新版本

• https://cloudcanal-munity.oss--hangzhou.aliyuncs./latest/cloudcanal.7z

12月20日之后的包里面我们增加了md5值校验文件，下载之后可以校验一下md5

• https://cloudcanal-munity.oss--hangzhou.aliyuncs./latest/md5sum.txt

注我们不需要校验md5

在linux下进行下载，直接使用命令

get https://cloudcanal-munity.oss--hangzhou.aliyuncs./latest/cloudcanal.7z

校验md5一致

2.2.2 安装7z

安装包为 cloudcanal.7z，包含了镜像和管理脚本

1. 安装 7z 解压工具(如果已经安装，此步略过)

 # 安装7z命令(centos系)  
sudo yum install p7zip p7zip-plugins  
# 安装7z命令(ubuntu系)  
sudo apt-get install p7zip-full p7zip-rar  
# 安装7z命令（macOS)  
bre install 7z

1. 进入cloudcanal安装包所在目录，解压缩

  7z x cloudcanal.7z

1. CloudCanal 目录结构说明

解压目录如下，其中包括

• 镜像包含四个 tar 压缩文件
• 脚本启动、更新和停止，以及 scripts 运维脚本目录
• 日志与配置文件日志为 docker-pose 启动日志，配置文件为 docker-pose 配置文件

 [root@localhost tar]# ll  
-r-------. 1 root root  862506496 Mar 25 11:47 console.tar  
-r-r--r--. 1 root root    1392 Mar 25 12:07 docker-pose.yml  
-r-------. 1 root root  454221312 Mar 25 11:47 mysql.tar  
-r-------. 1 root root  174073344 Mar 25 11:49 prometheus.tar  
-drxr-xr-x.2root  root  124 Mar 25 12:05 scripts  
-rxr-xr-x. 1 root root   63 Mar 25 12:05 shutdon.sh  
-r-------. 1 root root 1231059968 Mar 25 11:48 sidecar.tar  
-rxr-xr-x. 1 root root    2669 Mar 25 12:05 startup.sh  
-rxr-xr-x. 1 root root    2031 Mar 25 12:05 upgrade.sh

2.2.3 启动CloudCanal

1. 执行启动命令: sh startup.sh

当终端出现 cloudcanal start 时，即启动成功

1. 确认启动成功

启动过程将耗时 1 分钟左右，访问控制台 http://{您部署机器的ip}:8111 正确登录并开始操作

2.2.4 登录 CloudCanal 控制台

• 使用CloudCanal 试用用户登录

• • 用户名test@clougence.
  • 密码clougence2021

注如遇到需要发送短信的场景，先点击获取验证码，然后输入短信验证码 777777 即可

• 默认添加的测试 MySQL 数据库（两库中已准备好表和数据）

• • cloudcanal_test_a(源端)
  • cloudcanal_test_b(目标端)

• 默认已添加了一台运行机器，用于执行具体的数据同步任务

2.3 默认自带数据库

默认添加的测试 MySQL 数据库

• cloudcanal_test_a(源端)和cloudcanal_test_b(目标端)这两个库中已准备用于测试的表和数据

在宿主机上可以直接以下命令访问 MySQL 容器。

docker exec -it cloudcanal-mysql -uclougence -h127.1 -p123456

2.4 CloudCanal 升级

解压新版本的 cloudcanal.7z 压缩包，覆盖原目录下相同的文件，然后依次执行以下脚本即可。

sh shutdon.sh sh upgrade.sh sh startup.sh

因为数据目录 sidecar_data 和 console_dat 不会被覆盖，数据不会丢失。

3 快速使用

目前我们不需要添加机器，和集群。除非有新的机器安装了同步

具体过程生成机器码、在另一台集群上启动sidecar容器

3.1 添加数据源

进入数据源管理界面，点击添加数据源，可以选择阿里云上的数据源或者自建数据库。

添加两个数据源，分别作为同步的源库和目标库。

3.2 数据同步

同步表结构

在同步数据的时候，先同步表结构；

1、进入任务管理页面，点击创建任务。选择源实例和目标实例，指定数据库映射关系。

2、选择数据同步功能，去掉数据迁移里面的全量同步，和数据同步里面的增量同步，选择表结构迁移。

3、确定表映射，若是分库分表的，只需同步一张表的表结构到目标端即可。（分库分表，选择按_数字匹配）

4、选择表中要同步的列

5、确认配置无误后，点击创建任务。

全量同步 + 增量同步

1、进入任务管理页面，点击创建任务。选择源实例和目标实例，指定数据库映射关系。

2、选择数据同步功能，第一次会先查表进行全量同步，之后消费 binlog 增量同步数据。

3、选择要同步的表，要保证目标库的 UPDATE 和 DELETE 操作和源库的一致，需要保证源库表中有主键或者唯一约束。

4、选择表中要同步的列。

确认配置无误后，点击创建任务。

查看同步进度

3.3 校验

数据校验功能用于检验两个库之间的数据是否一致，进入任务管理页面，点击创建一个数据校验任务。

可以看到两个库间的数据是一致的。

3.4 查看日志

• CloudCanal docker 版的日志路径在压缩包解压路径下

• • console日志 ${安装包解压路径}/console_data/logs/cloudcanal/console/console.log
  • sidecar日志 ${安装包解压路径}/sidecar_data/logs/cloudcanal/sidecar/sidecar.log
  • tasks日志 ${安装包解压路径}/sidecar_data/logs/cloudcanal/tasks/xxx.log

4 常见问题

• 连通性测试失败
• 增量收不到数据
• 性能问题排查

官方已给出相应的解决方案功能问题排查 | Glougence