数据集成软件 TIS V4.0.0 版本发布
TIS的v4.0.0版本终于和大家见面了,v4.0.0着重在以下几方面进行了功能加强和升级。https://gitee.com/qlangtech/tis 功能该要 飞跃性能,稳定如磐 TIS依赖的核心框架Flink全面升级到了1.18版本,同时配套的Flink-CDC也升级至3.0.1版本,这意味着TIS在处理大数据量时有了更好的性能保障和更稳定的表现。 云原生之旅,启航新篇章 我们将传统的本地部署模式升级为支持Kubernetes的CloudNative部署模式。借助PowerJob的力量,我们的单点同步任务现在可以分布式执行,支持多任务并发,极大地提升了数据同步管道的吞吐能力。 而且,我们还增加了基于PowerJob的Crontab定时任务触发方式,让T+1离线数据的自动采集变得轻而易举。 连接世界,无限可能 我们新增了一系列数据连接器,比如备受期待的PostgreSQL连接器,让数据的无缝对接变得更加丰富多彩。 透明流程,掌控全局 我们对部署流程进行了优化,特别是对于那些包含长时间等待操作的流程,比如发布Flink流式计算任务。现在,我们引入了可视化机制,每个步骤的执行状态都将直观展现在用户面前。如果遇到失败,用户可以立即通过界面了解原因,快速找到解决方案。 Bug Fix 管道创建流程中更改端类型会出错#312 k8s application 模式下SQL模式执行flink Job 出错#308 无法识别VARBINARY类型的字段列#296 终止任务bug#294 [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293 写入clickhosue时自动建表bug#292 FTP方式找不到对应匹配的文件#289 mysql->doris 增量执行streamload出错#285 分库分表同步报找不到表#283 整库同步时个别表有json类型字段下游create table ddl报错#280 plugin 进行校验过程中错误被遮蔽#277 MySQL CDC Source 异常恢复消费位点异常#274 flink rest api client 解析服务端返回的结果有类无法反序列化#268 New Feature Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310 TIS 整体部署容器化部署方案#309 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306 添加flink连接同步timeout#298 添加基于Flink-cdc 实现的 Postgresql source端实现#291 实时同步无法使用“批量创建“#284 为TIS 各种端提供图标显示支持#275 建议在批量构建功能中增加定时任务,可以实现datax的定时全量和增量同步#255 [feature] 添加flink 实例一览页面#213 升级flink相关组件到最新版本#168 支持批量任务分布式执行#157 支持TIS Flink 在K8S上运行#156 离线T+1 怎么定时?#97 经典案例 MySQL导入ElasticSearch MySQL导入Hive MySQL导入Clickhouse MySQL全表入湖Hudi>>视频Demo MySQL到StarRocks的同步实现>>视频Demo 多源同步Doris方案介绍>>视频Demo Installation TIS Package安装说明(https://tis.pub/docs/install/tis/uber) TIS Flink Standalone Package安装说明(https://tis.pub/docs/install/flink-cluster/standalone) Flink On Kubernetes安装说明(https://tis.pub/docs/install/flink-cluster/native) 分布式批量数据同步组件PowerJob安装说明( https://tis.pub/docs/install/powerjob/k8s) TIS Zeppeline NoteBook Installation安装说明(https://tis.pub/docs/install/zeppelin) Related Projects qlangtech/tis(https://github.com/qlangtech/tis/tree/master) qlangtech/plugins(https://github.com/qlangtech/plugins/tree/master) qlangtech/ng-tis(https://github.com/qlangtech/ng-tis/tree/master) qlangtech/tis-archetype-plugin(https://github.com/qlangtech/tis-archetype-plugin/tree/master) qlangtech/tis-ansible(https://github.com/qlangtech/tis-ansible/tree/master) qlangtech/update-center2(https://github.com/qlangtech/update-center2/tree/master) qlangtech/DataX(https://github.com/qlangtech/DataX/tree/master) qlangtech/tis-git-manager(https://github.com/qlangtech/tis-git-manager/tree/master) qlangtech/flink(https://github.com/qlangtech/flink/tree/tis-1.13.1) qlangtech/chunjun(https://github.com/qlangtech/chunjun/tree/tis-v1.12.5) qlangtech/tis-doc(https://github.com/qlangtech/tis-doc/tree/master) qlangtech/hudi(https://github.com/qlangtech/hudi/tree/tis-release-0.10.1) qlangtech/zeppelin(https://github.com/qlangtech/zeppelin/tree/tis-v0.10.1) 反馈 💻项目地址:https://gitee.com/qlangtech/tis 🧐提交问题和建议:https://gitee.com/qlangtech/tis/issues 🥁贡献代码:https://gitee.com/qlangtech/tis/pulls 📧订阅社区开发邮件列表:dev@tis.datavane.org