数据集成软件 TIS V4.0.0 版本发布

TIS的v4.0.0版本终于和大家见面了，v4.0.0着重在以下几方面进行了功能加强和升级。https://gitee.com/qlangtech/tis

功能该要

1. 飞跃性能，稳定如磐

   TIS依赖的核心框架Flink全面升级到了1.18版本，同时配套的Flink-CDC也升级至3.0.1版本，这意味着TIS在处理大数据量时有了更好的性能保障和更稳定的表现。

2. 云原生之旅，启航新篇章

   我们将传统的本地部署模式升级为支持Kubernetes的CloudNative部署模式。借助PowerJob的力量，我们的单点同步任务现在可以分布式执行，支持多任务并发，极大地提升了数据同步管道的吞吐能力。

   而且，我们还增加了基于PowerJob的Crontab定时任务触发方式，让T+1离线数据的自动采集变得轻而易举。

3. 连接世界，无限可能

   我们新增了一系列数据连接器，比如备受期待的PostgreSQL连接器，让数据的无缝对接变得更加丰富多彩。

4. 透明流程，掌控全局

   我们对部署流程进行了优化，特别是对于那些包含长时间等待操作的流程，比如发布Flink流式计算任务。现在，我们引入了可视化机制，每个步骤的执行状态都将直观展现在用户面前。如果遇到失败，用户可以立即通过界面了解原因，快速找到解决方案。

Bug Fix

• 管道创建流程中更改端类型会出错#312

• k8s application 模式下SQL模式执行flink Job 出错#308

• 无法识别VARBINARY类型的字段列#296

• 终止任务bug#294

• [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293

• 写入clickhosue时自动建表bug#292

• FTP方式找不到对应匹配的文件#289

• mysql->doris 增量执行streamload出错#285

• 分库分表同步报找不到表#283

• 整库同步时个别表有json类型字段下游create table ddl报错#280

• plugin 进行校验过程中错误被遮蔽#277

• MySQL CDC Source 异常恢复消费位点异常#274

• flink rest api client 解析服务端返回的结果有类无法反序列化#268

New Feature

• Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310

• TIS 整体部署容器化部署方案#309

• 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306

• 添加flink连接同步timeout#298

• 添加基于Flink-cdc 实现的 Postgresql source端实现#291

• 实时同步无法使用“批量创建“#284

• 为TIS 各种端提供图标显示支持#275

• 建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步#255

• [feature] 添加flink 实例一览页面#213

• 升级flink相关组件到最新版本#168

• 支持批量任务分布式执行#157

• 支持TIS Flink 在K8S上运行#156

• 离线T+1 怎么定时？#97

经典案例

•  MySQL导入ElasticSearch
•  MySQL导入Hive
•  MySQL导入Clickhouse
• MySQL全表入湖Hudi >>视频Demo
• MySQL到StarRocks的同步实现 >>视频Demo
• 多源同步Doris方案介绍 >>视频Demo

   

Installation

• TIS Package 安装说明 (https://tis.pub/docs/install/tis/uber) 

• TIS Flink Standalone Package 安装说明 (https://tis.pub/docs/install/flink-cluster/standalone) 

• Flink On Kubernetes安装说明（ https://tis.pub/docs/install/flink-cluster/native）

• 分布式批量数据同步组件PowerJob安装说明（  https://tis.pub/docs/install/powerjob/k8s）

• TIS Zeppeline NoteBook Installation安装说明 (https://tis.pub/docs/install/zeppelin)

Related Projects

• qlangtech/tis (https://github.com/qlangtech/tis/tree/master)

• qlangtech/plugins (https://github.com/qlangtech/plugins/tree/master)

• qlangtech/ng-tis (https://github.com/qlangtech/ng-tis/tree/master)

• qlangtech/tis-archetype-plugin (https://github.com/qlangtech/tis-archetype-plugin/tree/master)

• qlangtech/tis-ansible(https://github.com/qlangtech/tis-ansible/tree/master)

• qlangtech/update-center2(https://github.com/qlangtech/update-center2/tree/master)

• qlangtech/DataX (https://github.com/qlangtech/DataX/tree/master)

• qlangtech/tis-git-manager(https://github.com/qlangtech/tis-git-manager/tree/master)

• qlangtech/flink (https://github.com/qlangtech/flink/tree/tis-1.13.1)

• qlangtech/chunjun (https://github.com/qlangtech/chunjun/tree/tis-v1.12.5)

• qlangtech/tis-doc (https://github.com/qlangtech/tis-doc/tree/master)

• qlangtech/hudi (https://github.com/qlangtech/hudi/tree/tis-release-0.10.1)

• qlangtech/zeppelin (https://github.com/qlangtech/zeppelin/tree/tis-v0.10.1)

反馈

💻 项目地址：https://gitee.com/qlangtech/tis

🧐 提交问题和建议：https://gitee.com/qlangtech/tis/issues

🥁 贡献代码：https://gitee.com/qlangtech/tis/pulls

📧 订阅社区开发邮件列表：dev@tis.datavane.org