您现在的位置是:首页 > 文章详情

Apache DolphinScheduler 1.2.0 发布,分布式可视化工作流任务调度系统

日期:2020-01-03点击:606

DolphinScheduler Release 1.2.0 

Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后,经过长达4个月后,终于迎来了自己的第一个Apache版本 -  1.2.0,本次发版包括以下重要更新

新特性:

  1. 支持PostgreSql、Mysql等多种数据库,添加Postgre性能监控
  2. 添加Flink和Http任务类型支持
  3. 添加跨项目依赖支持
  4. 添加流程定义导出和导入功能
  5. 添加CI自动编译检查
  6. 完善代码注释
  7. 为Common模块添加java doc文档

增强:

  1. 将batchDelete流程定义/实例移到事务的外部

  2. Dockerfile优化

  3. 改变mysql-connector-java作用域为test,规避mysql license问题

  4. 管理员和创建者可以删除定时

  5. 删除告警组需要删除用户与告警组的关系

  6. 删除租户时删除检查资源

  7. 在删除流程实例之前检查其状态

  8. 添加license和notice文件

BUG修复:

  1. 为scan待执行任务添加事务支持
  2. 修复ZKWorkerClient不关闭PathChildrenCache
  3. 数据类型转换错误,电子邮件发送错误错误修复
  4. Catch异常事务方法不生效,无法修改
  5. 修复spring事务而不是worker错误
  6. 任务日志打印工作日志错误修复
  7. 修复api服务器调试模式错误
  8. 任务异常,任务正在运行错误修复
  9. 修复错误:任务队列长度错误
  10. 修复不合适的错误消息
  11. 修正错误:手机可以为空
  12. 修复电子邮件错误密码
  13. 在升级或创建时修复过多连接

  14. 修复工作进程使用队列执行任务时的错误。并删除检查等20处bug

具体请参加本次发版说明

特别感谢为本次发版做出突出贡献的50多位社区贡献者

 

Dolphin Scheduler for Big Data

设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
其主要目标如下:
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对Master/Worker cpu load,memory,cpu在线查看
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
- 还有更多等待伙伴们探索

系统部分截图

文档

更多文档请参考 DolphinScheduler中文在线文档

近期研发计划

DolphinScheduler的工作计划:研发计划 ,其中 In Develop卡片下是正在研发的功能,TODO卡片是待做事项(包括 feature ideas)

贡献代码

非常欢迎大家来参与贡献代码,提交代码流程请参考:
[How to contribute code]

How to Build

 mvn clean install -Prelease 

Artifact:

 dolphinscheduler-dist/dolphinscheduler-backend/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-backend-bin.tar.gz: Binary package of DolphinScheduler-Backend dolphinscheduler-dist/dolphinscheduler-front/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-front-bin.tar.gz: Binary package of DolphinScheduler-UI dolphinscheduler-dist/dolphinscheduler-src/target/apache-dolphinscheduler-incubating-${latest.release.version}-src.zip: Source code package of DolphinScheduler 

感谢

Dolphin Scheduler使用了很多优秀的开源项目,比如google的guava、guice、grpc,netty,ali的bonecp,quartz,以及apache的众多开源项目等等,
正是由于站在这些开源项目的肩膀上,才有Dolphin Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢!我们也希望自己不仅是开源的受益者,也能成为开源的
贡献者,于是我们决定贡献出来,并承诺长期维护。也希望对开源有同样热情和信念的伙伴加入进来,一起为开源献出一份力!

本次发版下载链接: http://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html
官网: https://dolphinscheduler.apache.org/

原文链接:https://www.oschina.net/news/112526/apache-dolphinscheduler-1-2-0-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章