国产数据迁移同步工具 CloudCanal v4.4.0.0 发布
CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能:
- wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件,根据源端数据变化进行业务对账
- business-alert : 业务告警插件,根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
新链路
-
开放 MySQL -> ObForOracle 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步(加列/减列/修改列/清空表)
-
开放 ObForOracle -> OceanBase 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步(加列/减列/清空表)
-
开放 OceanBase -> ClickHouse 结构迁移、全量迁移、增量同步、数据校验
-
开放 OceanBase -> MongoDB 全量迁移、增量同步、数据校验
-
开放 MongoDB -> StarRocks 全量迁移、增量同步、数据校验
-
开放 AWS DocumentDB,支持链路等同 MongoDB 且可和 MongoDB 互相同步
新特性
-
支持 ClickHouse ReplaceMergeTree _sign 、_version 字段,所有操作变为 INSERT 且有明确版本信息,增强同步性能
-
支持 Redis <-> Redis EvalSha、PsetEx、Script Load(单机不支持)命令
-
支持 TiDB 源端同步分区表
-
支持 TiDB -> TiDB 分区表结构迁移
-
支持 ElasticSearch -> ElasticSearch 修改订阅,查看库表映射,创建任务或修改订阅表映射和列映射功能
-
支持 PostgreSQL 源端设置心跳(新增参数:dbHeartbeatEnable、dbHeartbeatOp、dbHeartbeatIntervalSec)
-
支持 源端 OceanBase、StarRocks、SQLServer、Db2 设置目标主键 ,方便数据汇聚
-
支持 操作审计记录用户登录成功/失败的操作
-
支持 操作审计多条件查询
-
支持 操作审计展示 uid,以及双击自动按 uid 查询
-
支持 子账号管理界面展示 uid 并支持复制,以及根据 uid 查询子账号
优化
-
优化 PostgreSQL/Oracle/MySQL/MariaDB 到 ClickHouse 结构迁移采用新架构,更加简单统一
-
优化 ClickHouse 驱动依赖,去除 ru.yandex.clickhouse 包内依赖(官方标记将去除),并升级驱动版本为 0.4
-
优化 StarRocks/Doris/SelectDB 获取表唯一键(或主键)字段报错异常信息打印
-
优化 ClickHouse 类型读取逻辑,更好适配复合、复杂类型
-
优化 MongoDB 类型读写逻辑,更好适配复合、复杂类型
-
优化 MySQL 源端 Change Column DDL 语句同步
问题修复
-
修复 TiDB 源端增量同步 TableID 变化导致的同步延迟问题
-
修复 TiDB 源端任务异常重启后,位点异常上报导致丢数据的问题
-
修复 TiDB GPRC 连接创建大量线程导致的 OOM 问题
-
修复 MongoDB 源端因二次校验逻辑问题导致数据校验的错误
-
修复 MongoDB/DocumentDB -> MySQL Timestamp 类型格式不对的问题
-
修复 MongoDB/DocumentDB 对端写入时间类型时区转换的问题
-
修复 OceanBase 源端增量遇致命异常无法退出的问题
-
修复 OceanBase 源端数据校验初始化位点信息失败的问题(NPE)
-
修复 RDS for MySQL 用户非必要 Schema 权限不足导致创建任务失败的问题
-
修复 SQLServer 源端无主键情况下,获取字段元数据异常的问题
-
修复 源端一个事务中有多条变更时 RocketMQ/RabbitMQ/Kafka 对端数据写入 PK 为空的问题(DSG & OGG & Envelope 消息格式)
-
修复 MySQL 源端初始化时区配置错误的问题
-
修复 任务详情展示的创建人均为主账号的问题
免费下载和使用

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
dynamic-tp v1.1.9 发布,轻量级动态线程池
dynamic-tp v1.1.9 发布,轻量级动态线程池。 此版本更新内容包括: Feature 新增 AgentAware,解决在有其他 agent 增强 Runnable 情况下尝试去拿 DtpRunnable,进行 tps、tpxx、运行超时等统计功能,1.1.7 及之前版本为了防止内存泄露会关闭这些功能。 https://gitee.com/dromara/dynamic-tp/issues/IAPNE8 <dependency> <groupId>org.dromara.dynamictp</groupId> <artifactId>dynamic-tp-extension-agent</artifactId> <version>1.1.9</version> </dependency> 新增全局配置功能,减少配置量,项目中可能会定义多个线程池,除了一些核心参数外,其他配置可能都是相同的,新增 globalExecutorProps 配置项,如果线程池某一...
- 下一篇
BootstrapBlazor v8.10.1 已经发布,Bootstrap 样式的 Blazor UI 组件库
BootstrapBlazor v8.10.1 已经发布,Bootstrap 样式的 Blazor UI 组件库 此版本更新内容包括: Release 2024-9-27 V8.10.1 Bugs fix(PopConfirmButton): 修复表格行内删除按钮确认框无法关闭问题 by @ArgoZhang in https://github.com/dotnetcore/BootstrapBlazor/pull/4356 fix(ValidateForm): 修复使用 MetadataType 扩展类复杂验证逻辑导致简单验证逻辑失效问题 by @AiYuZhen in https://github.com/dotnetcore/BootstrapBlazor/pull/4360 fix(Table): 修复小屏下工具栏内按钮 IsDisabled 未同步问题 by @ArgoZhang in https://github.com/dotnetcore/BootstrapBlazor/pull/4362 fix(DateTimePicker): 修复 Single 模式下默认当前月不...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Hadoop3单机部署,实现最简伪集群
- CentOS6,7,8上安装Nginx,支持https2.0的开启