官宣!Taier1.3新版本正式发布,新鲜功能抢先体验
2022年11月7日,Taier1.3版本正式发布!
Taier 是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier自今年2月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了Taier1.1、Taier1.2这两个大的版本更新。
本次发布的Taier1.3版本,我们新增了Flink Standalone组件,融合了DataSourceX的模块,并新增了Python、Shell、ClickHouse、Doris SQL等多种任务,任务数据源绑定,任务支持指定队列运行,并进行了部署优化,同时对官网社区的UI进行了全新的升级改造。
目前新版本已在Github与Gitee上线,同时使用文档也在社区推送,大家可以随时下载查阅,欢迎大家前往体验(喜欢我们的项目欢迎大家点个Star),体验地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社区官网:
https://dtstack.github.io/Taier/
同时为了方便没有钉钉的开发者们更好的交流Taier开源技术,我们新建了Taier开源技术微信交流群,欢迎大家加入一起探讨开源技术~
Taier1.3版本详解
01 新增Flink Standalone
新增Flink Standalone组件,可以通过Flink Standalone使用Flink SQL、数据同步、实时采集等任务相关功能。移除Taier对Hadoop组件的强依赖,支持轻量化的数据处理。
02 DataSourceX融合
Taier融合DataSourceX模块,移除Taier外部插件依赖。新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。
03 新增Python、Shell任务
新增Script组件,支持Python、Shell任务类型,可以在Taier上通过脚本类型任务进行操作。
04 新增ClickHouse、Doris SQL任务
新增ClickHouse、Doris SQL任务类型,支持数据同步脚本模式到ClickHouse、Doris,再进行任务调度处理。
05 任务数据源绑定
控制台组件移除SQL类型组件配置,SQL任务直接和数据源互相绑定,支持任务和数据源一对一的执行,将SQL执行域细分到具体的单个数据源。
06 任务支持指定队列运行
Hadoop类型任务支持指定队列运行,队列资源隔离细分到任务级别。
07 部署优化
Taier优化单机部署,优化前后端部署操作,简化docker镜像部署流程,降低上手难度。
08 官网升级
Taier社区新官网上线,UI设计全面升级。
后续版本规划
Taier今年更新了3个大的版本,按照社区规划,后续版本我们计划重点围绕关键点:
● 完善Taier Datasource 模板支持SQL任务
● HadoopMR、Spark Jar、PySpark 任务支持
● 任务告警
● Windows开发环境适配
我们欢迎社区的开发者们一起参与到Taier的版本建设中来,同时大家如果有其他的意见建议也可以给我们提一个Issue或者PR,大家可以来一起探讨怎么更好的共建项目。感兴趣的小伙伴们可以加入我们的技术交流社群,一起交流Taier的技术问题及难点,共建Taier!
袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack/Taier

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
动手实践丨使用华为云IoT边缘体验“边云协同”
摘要:“边云协同”,即云端与边缘的协同。通过边云通道,部署在边缘节点上,并实现在云端远程管理应用,保障部署在边缘的应用能够正常运行,并通过与云端的连线,将业务执行结果在云端呈现。 本文分享自华为云社区《使用华为云IoT平台的IoT边缘体验“边云协同”【我的IoT端边云体验】》,作者:Jan-tao 。 边云协同 “边云协同”,即云端与边缘的协同。通过边云通道,部署在边缘节点上,并实现在云端远程管理应用,保障部署在边缘的应用能够正常运行,并通过与云端的连线,将业务执行结果在云端呈现。 IoT边缘优势 就近接入:支持现场的物联网设备就近接入,可以实现设备的管理、智能控制、数据治理。 本地自治:通过部署边缘节点,实现物联网设备数据的预处理,同时在边缘侧提供应用托管、边缘计算等功能,方便业务本地自治,保证业务数据的高可靠不丢失,减少因硬件或网络带来的业务影响。 低时延:由于边缘计算减少了数据流量的总量,从而提高了应用和服务的性能;通过本地有线直连的方式,在本地进行业务处理,满足了业务低时延的需求。 快速体验IoT边缘 一、注册IoT边缘节点 进入华为云IoT 边缘 注册边缘节点 单击右上角“注...
- 下一篇
死锁的3种死法
1. 什么是死锁 在多线程环境中,多个进程可以竞争有限数量的资源。当一个进程申请资源时,如果这时没有可用资源,那么这个进程进入等待状态。有时,如果所申请的资源被其他等待进程占有,那么该等待进程有可能再也无法改变状态。这种情况称为死锁 在Java中使用多线程,就会有可能导致死锁问题。死锁会让程序一直卡住,不再往下执行。我们只能通过中止并重启的方式来让程序重新执行。 2. 造成死锁的原因 当前线程拥有其他线程需要的资源 当前线程等待其他线程已拥有的资源 都不放弃自己拥有的资源 3. 死锁的必要条件 3.1 互斥 进程要求对所分配的资源(如打印机)进行排他性控制,即在一段时间内某资源仅为一个进程所占有。此时若有其他进程请求该资源,则请求进程只能等待。 3.2 不可剥夺 进程所获得的资源在未使用完毕之前,不能被其他进程强行夺走,即只能由获得该资源的进程自己来释放(只能是主动释放)。 3.3 请求与保持 进程已经保持了至少一个资源,但又提出了新的资源请求,而该资源已被其他进程占有,此时请求进程被阻塞,但对自己已获得的资源保持不放。 3.4 循环等待 是指进程发生死锁后,必然存在一个进程–资源之间...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- Linux系统CentOS6、CentOS7手动修改IP地址
- 2048小游戏-低调大师作品
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8编译安装MySQL8.0.19
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- MySQL8.0.19开启GTID主从同步CentOS8