主题： 《调度系统 Schedulis 0.6.2 发布》

讲师： 王哲 微众银行大数据平台工程师

GitHub： https://github.com/WeBankFinTech/Schedulis

以下内容为分享文字版本，点击 阅读原文 可查看完整视频

Schedulis 支持常规的CommandShell 和Linkis（HadoopMR、 Hive、Spark、Sqoop、 Python）大数据任务；同时还支持特色的数据检查和工作流之间的依赖任务；支持完善的告警和工作流执行策略；提供多种类型的参数设置，动态全局变量和简单易用的UI。此次微众银行大数据平台工程 师王哲为大家带来 基于Schedulis 0.6.2的全面介绍 。 

项目主要分为两块，分别是 web server和 executor server 。web server 主要负责界面交互，请求的处理。比如项目管理，用户管理，用户登录跟踪工作流进度情况。web server 也提供了很多接口，用户可以通过接口进行操作，比如执行工作流获取一些工作流执行。executor server 主要负责工作流的提交和执行。目前我们适用的场景之一有获取到工作流，将它提交到 linkis 进行具体的大数据任务。

Schedulis 架构图

下图是项目的主要功能，schedulis 具有丰富的工作类型，可以支持自定义插件。如根据公司或者自己的需求开发一些插件，结合到项目中。schedulis 还支持比较多的调度策略，如现有工作流的单次执行，定时调度循环执行，历史重跑等调度策略。项目还支持分布式部署多台 executor server ，同时部署多台 executor server 进行分布式处理。

图形化工程编辑器可以借助 data sphere studio 进行节点的拖放及依赖关系的设置。

如上图项目界面，在首页我们就可以看到工作流的执行情况，具体到今日的一些执行情况。也有图表和对于项目的一些权限设置，如设置项目的创建人，管理权限读写执行，单独进行调度设置等，都是比较细致方便的。比如你的同事离职了，可以在这里进行修改交接，然后项目管理员通过项目用户这可以对他的权限进行一些设置。

 

项目操作记录可以直观的了解到用户对于这些项目进行了哪些操作，比如说重新上传的项目，或者对它设置了调度，告警，变更的权限等，方便我们进行审计，以及项目出了问题，方便去排查到底是什么人在什么时间做了什么事。

Schedulis  还支持比较丰富的告警策略，比如 一个工作流 ， 超过了 我们给定的时间还没有执行完，会进行一些邮件或者电话的告警这样。 关于工作流中如果有任务失败 ， 可以进行 失败任务的重跑， 或者 任务失败了就把它跳过 。

关于失败 状态的处理 ， 如果有任务执行失败的话，我们可以在工作流视图中手动对它进行一些重试或者重跑跳过。 这是我们调度策略之一——历史重跑。 历史重跑就是不采取工作流的历史数据，比如说我们要获取 17 年~ 19 年的数据，我们可以设置一下时间来进行历史重跑。

循环执行工作流进行执行之后就不间断地执行，结束之后就继续加继续进行下一次执行，不需要我们再去手动，每次去点执行。

然后我们这里还支持一些信号，比方如 checker ，进行一些信号管理。 也可以对给已有的信号， 查看日志状态。（具体参见视频回放）

关于 动态扩容 ， 用户可以在 任务中添加一些参数，生成嵌套型 ，比如 嵌套型的工作流， 子工作流 。

关于多租户管理，比方说我们有很多的 executor ， executor 对用户使用的 exuder 进行分组。比如 Excel 组利用一些任务的错误信息进行诊断，用其它 Excel 进行隔离分组，并给出一些修复的建议。你这个是在任务的日志中。

备注说明：

1、 参与社区提问的开发者 ，请扫码添加小助手，可以获得社区定制的开源精美礼品一份；

2、公众号后台回复“四大组件”获取讲师分享材料

3、点击“阅读原文”可查看完整视频

扫码添加WeDataSphere小助手

参与社区贡献的方式

（1）新手任务：认领入门任务，详见https://github.com/apache/incubator-Linkis/issues/1161

（2）作品沉淀：发布WeDataSphere开源组建相关内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。如：

（3）贡献代码：PR和Issue；

（4）答疑：热心为开发者答疑，如社区群回答开发者问题、issue答疑等；

（5）其他：沙箱体验、参与活动、成为社区志愿者等；