CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步
CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 60+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能:
- wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件,根据源端数据变化进行业务对账
- business-alert : 业务告警插件,根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
亮点
-
支持 MySQL -> MySQL/StarRocks/Doris/SelectDB/PostgreSQL 表达式表名,可支撑海量表的迁移同步
-
新增 CloudCanal 控制台黑夜模式
新链路
-
开放 腾讯云 TDSQL MySQL -> TDSQL MySQL 全量同步/增量同步/数据校验/数据订正/结构迁移/DDL 同步(加列/减列/modify/rename/truncate)
新特性
-
支持 AWS RDS Oracle 全量迁移和增量同步
-
支持 Oracle/PostgreSQL/SQL Server 源端数据校验设置采样率(参数:checkSamplePercent ),无断点续传,支持叠加过滤条件
-
支持 MySQL -> PostgreSQL 多 Schema 迁移同步
-
支持 TiDB 源端多任务订阅相同表,对于超多 region 表显著降低拉取变更记录可能发生异常的概率
-
支持 MySQL/OceanBase for MySQL -> OceanBase for MySQL CHANGE COLUMN DDL 同步
-
支持 MySQL -> MySQL 地理信息类型同步
-
支持 在任务级别设置延迟告警 WebHook,方便拥有众多同步任务的用户对于关键任务进行单独监控
-
支持 钉钉、飞书、企业微信告警通知所有人的能力, 通过 配置 > 个人偏好 > CloudCanal > imAlertAtAll 参数设置
-
支持 语音告警通过代理发送方式,方便全内网部署用户使用该告警方式
-
支持 从迁移同步机器上传任务日志、机器日志到 S3 或 OSS (通过 配置 > 个人偏好 配置相关信息),方便问题排查
-
支持 导出任务参数为 Excel 文件进行保存,方便问题排查
-
支持 全量任务性能/增量任务性能/机器监控图表图片导出
-
支持 修改订阅批量操作黑名单生效范围(已订阅表/新增表)
-
支持 已有任务参数保存为模板、应用参数模板到任务时,可进行预览
-
支持 按源和目标库表信息查任务相关信息的开放 API (/schema/listTransObjsByMeta)
优化
-
优化 任务 删除中 状态下,不能进行其他操作
-
优化 创建任务参数模版(创建、查询、删除)
-
优化 模板配置项白名单规则
-
优化 创建任务筛选表的步骤中选择目标表的交互方式
问题修复
-
修复 TiDB 源端增量无符号 Decimal 类型解析错误的问题
-
修复 任务参数中待创建参数没有展示的问题
-
修复 未激活状态下提示信息有误的问题
-
修复 搜索并手动勾选模式下修改映射规则/修改表名接口调用有误的问题
-
修复 消息源端创建任务最后一步页面展示有误的问题
-
修复 消息源端创建任务黑名单操作按钮没有隐藏的问题
-
修复 消息对端库列表 action 过滤按钮没有隐藏的问题
-
修复 Kafka 测试连接时没有获取到 Topic 列表的问题
-
修复 虚拟列在设置自定义目标主键后,影响汇聚逻辑主键生成的问题
-
修复 个人偏好验证 IM 有效性签名不对的问题
-
修复 个人资料中修改邮箱、手机、密码,报错信息无法展示的问题
-
修复 创建任务、重跑任务、删除任务的异步操作失败时,任务仍然可以启动,导致状态机状态不对的问题
-
修复 创建任务时无法选择表的原因没有被正常展示的问题
-
修复 条件过滤下推开启后下一步/上一步展示缺失的问题
-
修复 MySQL 获取最新位点后确定按钮无法点击的问题
-
修复 创建任务指定虚拟列时对端已存在同名列,导致增量同步写入为空的问题
-
修复 达梦 DDL(ADD LOGIC LOG)解析错误导致结构快照异常的问题
-
修复 达梦 源端数据过滤配置不生效的问题
-
修复 手动添加阿里云数据源信息缺失实例 id ,导致后续如自动建库、加白名单等依赖 OpenAPI 的操作失败的问题
-
修复 存量任务查看库表映射,操作黑名单展示有误的问题
-
修复 超长单行日志导致浏览器崩溃的问题
-
修复 MQ/Elasticsearch 对端修改订阅新增库无法点击确定的问题
免费下载和使用
- SaaS 全托管模式快速上手:https://www.clougence.com/docs/quick/quick_start_mgr
