关于CloudCanal
产品介绍
2021年8月1日，经历近2年的准备，CloudCanal社区版正式与大家见面了。CloudCanal是一款由[ClouGence公司](https://www.clougence.com)发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力，助力企业打破数据孤岛、完成数据互融互通，从而更好的使用数据。CloudCanal社区版为免费版本，我们会持续地对其维护，请大家放心下载使用。
研发团队
CloudCanal 核心团队成员来自阿里巴巴中间件和数据库团队, 长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品 DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品 DLA 、开源数据网关 Hasor 等产品负责人和核心研发 。
功能介绍
CloudCanal是一款多源多端数据迁移同步工具，当前支持的数据源主要如下(20210801版本，数据源持续添加中)：
源端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka
目标端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云ADB
CloudCanal针对数据源提供的标准能力如下
| 功能模块 |
功能项 |
| 数据源管理 |
产品化添加阿里云数据源 |
| |
产品化添加自建数据源 |
| |
修改内网网Host地址 |
| |
修改数据源在CloudCanal平台存储的账号密码 |
| |
针对阿里云数据源自动添加机器白名单 |
| |
删除数据源 |
| |
数据源多维筛选搜索 |
| 机器管理 |
集群化管理 |
| |
机器生命周期控制 |
| |
机器系统信息实时监控 |
| |
白屏化机器日志查看(针对CloudCanal的Sidecar组件) |
| |
产品化添加ECS |
| |
产品化添加自建机器 |
| |
集群搜索 |
| 监控管理 |
监控大盘查看整体任务创建情况、机器使用情况 |
| |
白屏化全局异常事件搜集，支持按照任务搜索并且查看异常堆栈 |
| |
异常事件搜索 |
| |
告警发送日志 |
| 系统管理 |
用户管理：支持用户搜索 |
| |
状态机管理：支持查看任务状态机详情和状态 |
| |
异步任务管理：支持查看异步任务详情、状态、失败时异常堆栈 |
| |
支持全局操作审计、条件过滤 |
| 任务管理 |
支持卡片、列表两种任务展示方式 |
| |
任务迁移同步进度、状态查看 |
| |
任务生命周期控制：任务启动、删除、批量操作 |
| |
任务详情查看：同步的源、目标查看;运行机器查看;任务各同步阶段状态;统计信息查看 |
| |
清除位点：从当前时间点开始同步 |
| |
重置位点：设置位点的开始时间 |
| |
任务实时监控数据查看：实时RPS、任务引擎监控、资源监控等 |
| |
任务参数修改：支持任务内核参数调整、生效 |
| |
支持查看任务订阅情况，并且支持多维筛选 |
| |
支持白屏化查看任务关键日志 |
| |
任务监控报警：支持设定延迟阈值进行钉钉、短信、电话报警 |
| |
支持新增、删除订阅（新订阅的表会自动进行全量同步） |
| |
支持异常跳过策略参数配置 |
| |
支持参数化配置并行度、批处理大小、内存队列大小等关键配置 |
| 可视化任务创建 |
支持可视化配置源、目标以及任务运行机器 |
| |
支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型 |
| |
支持创建任务规格选择 |
| |
支持库、表、列订阅裁剪 |
| |
支持整库迁移 |
| |
支持库树形批量筛选 |
| |
支持表过滤条件设置、表批量设置过滤条件 |
| |
支持丰富的筛选条件批量设置订阅 |
| |
支持按照列搜索并批量设置过滤条件 |
| |
支持列映射 |
| |
支持无主键表设置自定义主键 |
| |
支持虚拟列设置 |
| |
支持增量ACTION过滤 |
Tips:
- 功能矩阵中部分能力针对某些数据源尚未支持，具体可以关注我们社区动态
- 社区版源和目标支持的数据源正在逐步开放中，请对我们保持关注。如想尝鲜体验完整源和目标，可以直接尝试CloudCanal的SAAS平台(免费使用)
技术架构
CloudCanal主体上分为三个主要部分：
- 控制台：完成CloudCanal的主要产品化能力
- Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用
- 任务内核：任务内核进程，负责全量
![]()
下载地址
OSS下载地址
安装使用文档
