国产数据迁移同步工具 CloudCanal v4.2.0.0 发布
CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase,PolarDB, TiDB, StarRocks, Doris, RocketMQ 等。
结合开源项目 CloudCanalProcess ，可方便实现如下功能
- wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件，根据源端数据变化进行业务对账
- business-alert : 业务告警插件，根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS, 亚马逊 DMS, StreamSets, AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
新链路
- 开放 Kafka -> SelectDB / Doris / AutoMQ 增量同步
- 开放 AutoMQ -> AutoMQ / Kafka 增量同步
新特性
- 支持 Oracle 目标端新写入模式（新增参数：enableNewApplyStrategy、writeStrategy）
- 支持 Redis Db 映射 （新增参数：enableDbMapping）
- 支持 Redis <-> Redis 双向同步 SRem、SetNx、SetEx、Append、GetSet、MSet、LInsert 命令
- 支持 二次差异校验数据，大幅度减少因为数据延迟造成的校验误差
- 支持 校验、订正任务自定义代码
- 支持 主账号重置子账号登录密码能力
- 支持 主账号设置禁止删除子账号能力（偏好设置 forbidDelSubAccount）
- 支持 主账号设置密码强度表达式（正则，偏好设置 subAccountPwdVerifyExpr 和 subAccountPwdVerifyTips），未设置则采用系统默认验证表达式
- 支持 主账号设置子账号密码强制过期能力 (偏好设置 subAccountPwdExpireDays)
- 支持 结构迁移 StarRocks 分区设置, 包括 RANGE 分区、表达式分区、LIST 分区
- 支持 TiDB -> TiDB 结构迁移 AUTO_RANDOM 和 SHARD_ROW_ID_BITS 属性
- 支持 SelectDB、Doris 新增数据源时添加 useSSL 选项
优化
- 优化 Redis 源端对于不支持的指令集抛出异常
- 优化 Redis 源端全量阶段对于超大 Key 抛出异常（新增参数：keySizeMb）
- 优化 Kafka 源端 Debezium Envelop Json 消息格式，把 source 字段作为非必要项
- 优化 MySQL 源端修改订阅创建子任务时，会自动复制主任务的 srcTimeZone connectTimeZone 参数
- 优化 Oracle 源端的结构迁移，如对端数据源支持 NUMBER（不带长度精度）类型（如 Oracle , PostgreSQL），则保持一致
- 优化 Doris / SelectDB 对端连续 DDL 报错问题，会通过查询目标端数据库元数据或识别错误信息进行等待或重试
- 优化 私有部署登录，私有部署禁止使用短信验证码登录
- 优化 私有部署重置密码操作逻辑，去掉未登录情况重置密码（忘记密码），登录状态重置密码采用老密码验证方式
- 优化 私有部署更新手机、邮箱操作逻辑，去掉短信验证码验证逻辑，采用当前用户密码验证方式
- 优化 Kubernetes 部署模式下机器管理页面的展示
- 优化 Kubernetes 部署脚本，修改相关镜像为阿里云镜像源
- 优化 Docker 部署支持脚本，修改 Docker 官网 Repo 改成阿里云镜像源
- 优化 审计日志功能（去除无用操作审计，保留任务、数据源操作审计），支持在线查看审计详细日志
- 优化 创建任务和修改订阅数据处理步骤筛选表的逻辑，支持批量精确筛选
- 优化 创建任务元数据获取，过滤 SQLServer 源端 ReportServer$xxxx,ReportServer$xxxxTempDB 等系统库，防止选择 Schema 页面出现权限不足问题
- 优化 子账号维护逻辑，禁止有权限管理子账号的子账号删除自己
- 优化 偏好设置，支持开关类型配置操作
问题修复
- 修复 Oracle -> PostgreSQL NUMBER 类型（不带长度精度）主键表数据校验失败问题
- 修复 Oracle NCHAR / CHAR 主键且值为空字符串时写入报错的问题
- 修复 Oracle 目标端主键为 NCHAR / CHAR 时更新性能低的问题
- 修复 Oracle 目标端 BLOB / CLOB / RAW 类型写入报错的问题
- 修复 Oracle 源端 ADD PK / UK 字段大小写转换的问题
- 修复 Oracle 源端设置目标主键无效的问题
- 修复 MySQL -> Redis 修改订阅报错的问题
- 修复 MySQL 双向同步由于心跳未更新导致的任务延迟问题
- 修复 MySQL 重置文件位点错误更新时间戳位点的问题
- 修复 MySQL 源端 lower_case_table_names = 2 时，增量同步白名单过滤错误的问题
- 修复 Hana 源端增量任务延迟指标显示异常的问题
- 修复 Hana 源端对超大事务无法读取的问题
- 修复 Kafka -> Kafka 结构迁移源端信息获取错误导致的报错问题
- 修复 Tunnel / MQ 目标端序列化 byte[] 错误的问题
- 修复 SQL Server -> SQL Server 结构迁移 NVARCHAR 类型长度 MAX 变成 1 问题
- 修复 创建任务上传自定义代码过大导致报错的问题
- 修复 子账号批量授权任务时，任务包含子任务的情况下报错的问题
- 修复 删除子任务，没有删除数据源使用记录的问题
- 修复 删除子账号后，对应数据同步任务创建人为空从而报错的问题，默认更新成任务拥有者
- 修复 页面组件国际化、面包屑导航不准的问题
