Apache DolphinScheduler 1.2.0 发布,分布式可视化工作流任务调度系统
DolphinScheduler Release 1.2.0
Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后,经过长达4个月后,终于迎来了自己的第一个Apache版本 - 1.2.0,本次发版包括以下重要更新
新特性:
- 支持PostgreSql、Mysql等多种数据库,添加Postgre性能监控
- 添加Flink和Http任务类型支持
- 添加跨项目依赖支持
- 添加流程定义导出和导入功能
- 添加CI自动编译检查
- 完善代码注释
- 为Common模块添加java doc文档
增强:
-
将batchDelete流程定义/实例移到事务的外部
-
Dockerfile优化
-
改变mysql-connector-java作用域为test,规避mysql license问题
-
管理员和创建者可以删除定时
-
删除告警组需要删除用户与告警组的关系
-
删除租户时删除检查资源
-
在删除流程实例之前检查其状态
- 添加license和notice文件
BUG修复:
- 为scan待执行任务添加事务支持
- 修复ZKWorkerClient不关闭PathChildrenCache
- 数据类型转换错误,电子邮件发送错误错误修复
- Catch异常事务方法不生效,无法修改
- 修复spring事务而不是worker错误
- 任务日志打印工作日志错误修复
- 修复api服务器调试模式错误
- 任务异常,任务正在运行错误修复
- 修复错误:任务队列长度错误
- 修复不合适的错误消息
- 修正错误:手机可以为空
- 修复电子邮件错误密码
-
在升级或创建时修复过多连接
-
修复工作进程使用队列执行任务时的错误。并删除检查等20处bug
具体请参加本次发版说明
特别感谢为本次发版做出突出贡献的50多位社区贡献者
Dolphin Scheduler for Big Data
设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
。
其主要目标如下:
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对Master/Worker
cpu load,memory,cpu在线查看
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
- 还有更多等待伙伴们探索
系统部分截图
文档
更多文档请参考 DolphinScheduler中文在线文档
近期研发计划
DolphinScheduler的工作计划:研发计划 ,其中 In Develop卡片下是正在研发的功能,TODO卡片是待做事项(包括 feature ideas)
贡献代码
非常欢迎大家来参与贡献代码,提交代码流程请参考:
[How to contribute code]
How to Build
mvn clean install -Prelease
Artifact:
dolphinscheduler-dist/dolphinscheduler-backend/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-backend-bin.tar.gz: Binary package of DolphinScheduler-Backend dolphinscheduler-dist/dolphinscheduler-front/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-front-bin.tar.gz: Binary package of DolphinScheduler-UI dolphinscheduler-dist/dolphinscheduler-src/target/apache-dolphinscheduler-incubating-${latest.release.version}-src.zip: Source code package of DolphinScheduler
感谢
Dolphin Scheduler使用了很多优秀的开源项目,比如google的guava、guice、grpc,netty,ali的bonecp,quartz,以及apache的众多开源项目等等,
正是由于站在这些开源项目的肩膀上,才有Dolphin Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢!我们也希望自己不仅是开源的受益者,也能成为开源的
贡献者,于是我们决定贡献出来,并承诺长期维护。也希望对开源有同样热情和信念的伙伴加入进来,一起为开源献出一份力!
本次发版下载链接: http://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html
官网: https://dolphinscheduler.apache.org/
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
getty 1.2.0 发布,添加websocket的支持
一个完全基于java 实现的,长得有点像netty的aio网络框架 getty的特点: 1、完全基于java nio2封装,整体代码代码结构很轻量,也非常简单易用。 2、借鉴了netty和其他框架的部分优秀设计思想,如责任链、内存池化、零拷贝等优秀的设计模式。拥有媲美netty的高效性能(黄婆卖瓜)。 3、提供了常用的多个插件(String处理器,protobuf消息处理器,心跳超时处理器、ip过滤等)满足大部分开发场景。 4、getty可直接在安卓环境中使用(api 26+ 或 android 8.0+) 5、getty同时提供了TCP和UDP的支持,并且使用方式几乎一致,大大提高了易用性。 6、handler处理器支持使用过程中的热拔插设计,各处理器可以灵活组合,。 7、框架拥有非常好的拓展性,处理器拓展非常简单,大大降低了开发成本 8、高效的性能和靠谱的稳定性,在使用过程中得到了很好的验证 9、与netty结合使用。使用过程与netty非常类似,只要有netty是使用经验,使用getty几乎不需要额外学习。 更新内容: 1、基于java aio 对websocket协议进行了封...
- 下一篇
Linux Lab v0.3-rc1 发布,新增 5 本知名 Linux 图书所用内核支持
Linux Lab 是一套用于 Linux 内核学习、开发和测试的即时实验室,可以极速搭建和使用,功能强大,用法简单! 可以用它来高效地学习处理器架构、Linux 内核、嵌入式 Linux 系统、C 语言编程、Linux 汇编、Shell 编程等。 Linux Lab Boot example 已经跃跃欲试了?!快来看看 Linux Lab:难以抗拒的十大理由,本次更新又增加了一大理由,快看下文! 如果您想学习 Linux 0.11 内核和 Linux X86 汇编语言,也可以访问另外两套 Lab,即 Linux 0.11 Lab 和 CS630 Qemu Lab。 版本更新 Linux Lab 先后于 6 月 29 日和 10 月 30 日发布了 v0.1 和 v0.2 正式版。 本次发布 v0.3 的第 1 个候选版本:v0.3 rc1,随同发布的还有 Cloud Lab v0.1 的第 3 个候选版:v0.1 rc3。 Linux Lab v0.2 首次被 某线上课程 全程采用,本次 v0.3 rc1 一方面完善了课程学员反馈的问题,另外一方面新增了对多本经典 Linux 图书所...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,CentOS7官方镜像安装Oracle11G