国产数据迁移同步工具 CloudCanal v4.2.0.0 发布
CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase,PolarDB, TiDB, StarRocks, Doris, RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能
- wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件,根据源端数据变化进行业务对账
- business-alert : 业务告警插件,根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS, 亚马逊 DMS, StreamSets, AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
新链路
- 开放 Kafka -> SelectDB / Doris / AutoMQ 增量同步
- 开放 AutoMQ -> AutoMQ / Kafka 增量同步
新特性
- 支持 Oracle 目标端新写入模式(新增参数:enableNewApplyStrategy、writeStrategy)
- 支持 Redis Db 映射 (新增参数:enableDbMapping)
- 支持 Redis <-> Redis 双向同步 SRem、SetNx、SetEx、Append、GetSet、MSet、LInsert 命令
- 支持 二次差异校验数据,大幅度减少因为数据延迟造成的校验误差
- 支持 校验、订正任务自定义代码
- 支持 主账号重置子账号登录密码能力
- 支持 主账号设置禁止删除子账号能力(偏好设置 forbidDelSubAccount)
- 支持 主账号设置密码强度表达式(正则,偏好设置 subAccountPwdVerifyExpr 和 subAccountPwdVerifyTips),未设置则采用系统默认验证表达式
- 支持 主账号设置子账号密码强制过期能力 (偏好设置 subAccountPwdExpireDays)
- 支持 结构迁移 StarRocks 分区设置, 包括 RANGE 分区、表达式分区、LIST 分区
- 支持 TiDB -> TiDB 结构迁移 AUTO_RANDOM 和 SHARD_ROW_ID_BITS 属性
- 支持 SelectDB、Doris 新增数据源时添加 useSSL 选项
优化
- 优化 Redis 源端对于不支持的指令集抛出异常
- 优化 Redis 源端全量阶段对于超大 Key 抛出异常(新增参数:keySizeMb)
- 优化 Kafka 源端 Debezium Envelop Json 消息格式,把 source 字段作为非必要项
- 优化 MySQL 源端修改订阅创建子任务时,会自动复制主任务的 srcTimeZone connectTimeZone 参数
- 优化 Oracle 源端的结构迁移,如对端数据源支持 NUMBER(不带长度精度)类型(如 Oracle , PostgreSQL),则保持一致
- 优化 Doris / SelectDB 对端连续 DDL 报错问题,会通过查询目标端数据库元数据或识别错误信息进行等待或重试
- 优化 私有部署登录,私有部署禁止使用短信验证码登录
- 优化 私有部署重置密码操作逻辑,去掉未登录情况重置密码(忘记密码),登录状态重置密码采用老密码验证方式
- 优化 私有部署更新手机、邮箱操作逻辑,去掉短信验证码验证逻辑,采用当前用户密码验证方式
- 优化 Kubernetes 部署模式下机器管理页面的展示
- 优化 Kubernetes 部署脚本,修改相关镜像为阿里云镜像源
- 优化 Docker 部署支持脚本,修改 Docker 官网 Repo 改成阿里云镜像源
- 优化 审计日志功能(去除无用操作审计,保留任务、数据源操作审计),支持在线查看审计详细日志
- 优化 创建任务和修改订阅数据处理步骤筛选表的逻辑,支持批量精确筛选
- 优化 创建任务元数据获取,过滤 SQLServer 源端 ReportServer$xxxx,ReportServer$xxxxTempDB 等系统库,防止选择 Schema 页面出现权限不足问题
- 优化 子账号维护逻辑,禁止有权限管理子账号的子账号删除自己
- 优化 偏好设置,支持开关类型配置操作
问题修复
- 修复 Oracle -> PostgreSQL NUMBER 类型(不带长度精度)主键表数据校验失败问题
- 修复 Oracle NCHAR / CHAR 主键且值为空字符串时写入报错的问题
- 修复 Oracle 目标端主键为 NCHAR / CHAR 时更新性能低的问题
- 修复 Oracle 目标端 BLOB / CLOB / RAW 类型写入报错的问题
- 修复 Oracle 源端 ADD PK / UK 字段大小写转换的问题
- 修复 Oracle 源端设置目标主键无效的问题
- 修复 MySQL -> Redis 修改订阅报错的问题
- 修复 MySQL 双向同步由于心跳未更新导致的任务延迟问题
- 修复 MySQL 重置文件位点错误更新时间戳位点的问题
- 修复 MySQL 源端 lower_case_table_names = 2 时,增量同步白名单过滤错误的问题
- 修复 Hana 源端增量任务延迟指标显示异常的问题
- 修复 Hana 源端对超大事务无法读取的问题
- 修复 Kafka -> Kafka 结构迁移源端信息获取错误导致的报错问题
- 修复 Tunnel / MQ 目标端序列化 byte[] 错误的问题
- 修复 SQL Server -> SQL Server 结构迁移 NVARCHAR 类型长度 MAX 变成 1 问题
- 修复 创建任务上传自定义代码过大导致报错的问题
- 修复 子账号批量授权任务时,任务包含子任务的情况下报错的问题
- 修复 删除子任务,没有删除数据源使用记录的问题
- 修复 删除子账号后,对应数据同步任务创建人为空从而报错的问题,默认更新成任务拥有者
- 修复 页面组件国际化、面包屑导航不准的问题
免费下载和使用

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
共建系列 | openKylin 走进浦东软件园交流活动成功举办
7月3日,为进一步增进社区合作伙伴间的友好交流及合作探讨,openKylin社区共建系列之走进上海浦东软件园交流活动成功召开。来自赛昉科技、上海具身多模、上海宽睿信息等近20家企业参会代表共聚上海浦软,介绍了当前企业产品和技术创新等方面的最新成果,并围绕社区发展建设、行业数字化转型等话题展开了深入交流和沟通。 上海浦东软件园股份公司副总经理何育浩出席活动并发表致辞,上海浦东软件园将致力于推动开源生态进一步集聚,欢迎更多园区企业及生态伙伴参与到openKylin社区中,为共建开源生态贡献力量。 openKylin社区副秘书长刘敏带来《openKylin根社区建设进展介绍》主题分享,向与会伙伴介绍了社区的基本情况、治理模式、开源趋势及社区取得的相关成果。目前,已有超500家伙伴加入社区,涵盖了基础软件、CPU、GPU、整机、应用软件、人工智能等产业链上下游企业以及各层次高等院校,与openKylin社区开展了共同技术创新、生态适配、应用商店上架、预装集成等多种形式的合作,未来,openKylin社区将持续发挥平台作用,共探推动操作系统技术创新发展和生态繁荣建设。 赛昉科技 RVspace ...
- 下一篇
Visual Studio Code 1.91 发布
Visual Studio Code 1.91 已发布,具体更新内容如下: 预览:Incoming/Outgoing changes graph- 在 Source Control视图中可视化 incoming 和 outgoing changes。 可以通过scm.experimental.showHistoryGraph设置新的可视化功能。 Python 环境 推出一款新工具 python-environment-tools ,旨在显著提高检测全局 Python 安装和 Python 虚拟环境的速度。该工具使用 Rust 来确保快速、准确的发现过程。 项目团队正在测试这项新功能,并将其与现有支持并行运行,以评估 Python 扩展中的新发现性能。用户将可以看到一个名为Python Locator的新日志通道,以显示使用这一新工具的发现时间。 可访问python-environment-tools repo了解有关此功能和正在进行的工作的更多信息。 Smart Send in native REPL- 在nativeREPL 中流畅运行代码块。 现在,Shift+Enter 可在非嵌...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Hadoop3单机部署,实现最简伪集群
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2全家桶,快速入门学习开发网站教程