开源项目丨Taier 1.1 版本正式发布,新增功能一览为快

2022 年 5 月 8 日,Taier 1.1 版本正式发布!

本次版本更新对 Flink 的支持升级到 Flink1.12,支持多种流类型任务,新版本的使用文档已在社区中推送,大家可以随时下载查阅。

github 地址:

https://github.com/DTStack/Taier

gitee 地址:

https://gitee.com/dtstack_dev_0/taier

一、Taier 1.1 版本介绍

Taier 是一个分布式可视化的 DAG 任务调度系统,是数栈数据中台整体架构的重要枢纽,负责调度日常庞大的任务量。

它旨在降低 ETL 开发成本,提高大数据平台稳定性,让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier1.0 版本于 2022 年 2 月发布,在 1.0 版本发布的第二天,1.1 版本的迭代就已提上日程,并于昨日正式发布。

本次版本更新,着重解决了 Taier 的适配性问题:对 Flink 的支持升级到 1.12;Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了支持用户在任务中自定义函数,明显让 Taier 的延展性有了更好的发挥;新增了许多例如 Hive SQL 类型任务、实时任务运维等强大功能。

这次版本更新对 Taier 的固有优势进行了巩固,同时也强化并改善了用户体验,进一步精细化提升产品性能。

二、Taier 1.1 功能详解

01  对 Flink 版本支持升级到 1.12

Taier 作为一个分布式可视化的 DAG 任务调度系统,采用 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12 ,支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function

02 数据同步支持脚本模式、增量同步

数据同步任务除向导模式外,1.1 版本新增数据同步脚本模式。脚本模式通过 json 的方式配置,无需依赖 datasourcex 的支持的数据源,直接通过 json 配置的方式提交任务,脚本模式的 json 格式无缝兼容 ChunJun 的数据格式,用户可以通过脚本模式调试各类数据源的数据同步。

03  新增 Hive SQL

Apache Hive 是一个构建于 Hadoop 顶层的数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。Taier1.1 版本新增 Hive SQL ,支持对接 Hive 的不同版本 。

04  新增多种实时类型任务

新增实时采集任务,支持将 MySQL、Oracle 的数据同步至 Kafka。

新增 Flink SQL 任务,通过标准 SQL 语义的开发帮助快速完成数据任务的配置工作。

05  新增实时任务运维

可通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息。

06  支持用户自定义函数

用户自定义函数(User Defined Function,简称 UDF),是用户除了使用系统函数外,自行创建的函数,用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。

目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任务均支持自定义函数。

07  全新暗黑主题上线

Taier 开发界面暗黑主题上线,提供多种主题切换,用户可自行选择。Taier 1.1 可支持用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格,用户体验显著提升。

三、未来规划

Taier 作为一个新开源的项目,我们的迭代和更新一直在进行中,后续 Taier 将在扩展性、用户自主性方向上继续探索扩展,比如我们正在努力让用户可以基于 Taier 去自定义开发自己需要的类型任务等等。

Taier 的每一次进步都离不开社区开发者们的帮助和建议,希望大家保持关注,和 Taier 一起继续前进,不断攀登新高峰!

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/195095/taier-1-1-released

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。