国产数据迁移同步工具 CloudCanal v4.4.2.0 发布
CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能:
- wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件,根据源端数据变化进行业务对账
- business-alert : 业务告警插件,根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
版本亮点
-
开放 MySQL -> Iceberg 结构迁移、全量迁移、增量同步、DDL 同步(加列、删除列、改列类型、改列名、改列 Nullable)
新链路
-
开放 PolarDB-X 2.0 -> Doris 结构迁移、全量迁移、增量同步、数据校验与订正
-
开放 OceanBase for Oracle -> Kafka 全量迁移、增量同步
新特性
-
支持 TiDB 8.x 源端和目标端
-
支持 SelectDB 4.0 版本
-
支持 PolarDB-X 2.0 源端 Auto 模式下数据同步
-
支持 ClickHouse Cloud 数据源(添加 ClickHouse 数据源时修改 useSSL 参数为 true)
-
支持 MongoDB -> MySQL/StarRocks 主键映射(_id -> 指定字符串类型的列),方便用户对端建表
-
支持 Oracle/MySQL/SQL Server -> Kafka 虚拟列
-
支持 MySQL -> StarRocks 修改订阅增加待创建库
-
支持 虚拟列值为数据转换表达式
-
支持 校验订正子任务可修改订阅
-
支持 定时全量、校验任务在任务调度等待期间可修改订阅
-
支持 OceanBase Binlog 模式下,可通过文件位点重置任务位点
-
支持 审计日志导出为 EXCEL 格式文件(新增审计日志导出权限)
优化
-
优化 TiDB 源端过滤 Delete 为空的事件
-
优化 Doris/SelectDB 对端结构迁移 Char/Varchar 不带长度或 0 长度默认值设置(255/65535)
-
优化 ClickHouse 对端时间类型默认映射从 Datetime 修改为 Datetime64
-
优化 添加 DocumentDB 地址栏可填写集群地址
-
优化 各项更新操作的审计日志,更加易读且新增部分必要信息
问题修复
-
修复 PolarDB-X 任务初始化时,未获取 Binlog 位点相关信息,导致任务长时间初始化的问题
-
修复 PolarDB-X 源端解析 SQL 报错导致增量同步无法进行的问题
-
修复 OceanBase 部分数据新增参数在添加时不生效的问题
-
修复 StarRocks 源端获取表信息未过滤视图的问题
-
修复 Doris/OceanBase 创建任务获取表信息未过滤视图的问题
-
修复 StarRocks/Doris 目标端写入重试机制报错的问题
-
修复 MySQL -> StarRocks 源端空表全量迁移卡在 99.9% 无法完成的问题
-
修复 SQL Server 对端增量同步,无主键表 Update/Delete 语句包含空数据时,执行失败的问题
-
修复 多张表增量同步,部分表设置了数据清洗,多表同时交叉增量时数据清洗遗漏的问题
-
修复 子账号开启全部资源权限后,已授权限显示不同步的问题
-
修复 OceanBase、PolarDB-X 位点重置界面多选框显示为英文的问题
-
修复 ADB for MySQL 目标端 Clob 类型 (Text/Longtext)写入为空的问题
-
修复 PostgreSQL 目标端 MUTI_SQL 模式,虚拟列同步异常的问题
-
修复 过滤条件带有多个条件导致过滤无效的问题
-
修复 AWS DocumentDB 为源端的结构迁移报错的问题
-
修复 MongoDB 为源端 ChangeStream 推送空 Update 事件的问题
-
修复 删除任务清理对端资源时,选择公网方式连接,Host 为空的问题
-
修复 Hive 对端未设置分区键却显示已设置的问题
-
修复 Hive 目标端 Timestamp 类型写入无法查看的问题
-
修复 Hive 目标端全量迁移 __op 字段为 Null 的问题
-
修复 创建相似任务虚拟列删除后不重新渲染的问题
-
修复 批量设置数据清洗,删除单表的数据清洗会删除所有表的数据清洗的问题
-
修复 批量新增虚拟列后,不会自动切换到虚拟列 tab 的问题
-
修复 修改订阅某些链路(源端带 Schema 的数据库,目前已知 Hana -> MySQL/Oracle -> Doris)去掉一张表,另外的表的列会空,导致任务变成更新表的问题
-
修复 修改订阅合并子任务到主任务可能导致子任务虚拟列、数据清洗配置无效的问题(e.g., 主任务配置了虚拟列,子任务配置了数据清洗)
免费下载和使用

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
.Net 权限工作流框架 OpenAuth.Net 正式支持 .Net 9
根据OpenAuth.Net官网更新日志显示,OpenAuth.Net正式支持.Net 9。并提供Dockerfile部署支持。这是自2023年8月份支持.Net 6.0以来,又一次大版本升级。此次升级不仅提升了系统性能和安全性,还增强了跨平台部署能力。通过Dockerfile的支持,开发者可以更便捷地进行容器化部署,提高了系统的可移植性和扩展性。OpenAuth.Net团队表示,将继续跟进.Net的最新发展,为用户提供更优质的开源权限管理解决方案。 🔥.Net 权限管理及快速开发框架、最好用的权限工作流系统。源于 Martin Fowler 企业级应用开发思想及最新技术组合(SqlSugar、EF、Quartz、AutoFac、WebAPI、Swagger、Mock、NUnit、Vue2/3、Element-ui/plus、IdentityServer 等)。核心模块包括:角色授权、代码生成、智能打印、表单设计、工作流、定时任务等。架构易扩展,是中小企业的首选。 询问AI
- 下一篇
Protocol Buffers 29.0 发布
Protocol Buffers 29.0 已经发布。Protocol Buffers(protobuf)是Google 开源的语言无关、平台无关的可扩展机制,用于序列化结构化数据。 具体更新内容包括: Bazel 在 Args 之后将缺失的行添加到 docstring中(#19213)(6f310d5) 修复 proto_info_bzl (#18918) (083de5f) 在 protobuf 中随处使用 rules_cc (ddadd0b) 将 rules_cc 升级到 0.0.13 (3dd4835) 将 proto toolchain string 转换为 Label(aa181e2) 为测试准备支持目标(a748b10) 支持 --incompatible_enable_proto_toolchain_resolution (372ddb3) 从 Bazel 移除 ProtoInfo 和 ProtoLangToolchainInfo (426ca8a) 从 Bazel 库中移除 java_{lite_}proto_library (d77bdac) 将 proto_too...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6