宜信开源微服务任务调度平台 SIA-TASK
背景
无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此的背景下,很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点,但各有不足之处,比如不支持任务编排、与业务高耦合、不支持跨平台等问题。非常不符合新一代微服务架构的需求,因此宜信公司开发了微服务任务调度平台(SIA-TASK)。
SIA是宜信公司基础开发平台Simple is Awesome的简称,SIA-TASK(微服务任务调度平台)是其中的一项重要产品,SIA-TASK契合当前微服务架构模式,具有跨平台,可编排,高可用,无侵入,一致性,异步并行,动态扩展,实时监控等特点。
项目简介
SIA-TASK是任务调度的一体式解决方案。对任务进行元数据采集,然后进行任务可视化编排,最终进行任务调度,并且对任务采取全流程监控,简单易用。对业务完全无侵入,通过简单灵活的配置即可生成符合预期的任务调度模型。
SIA-TASK借鉴微服务的设计思想,获取分布在每个任务执行器上的任务元数据,上传到任务注册中心。利用在线方式进行任务编排,可动态修改任务时钟,采用HTTP作为任务调度协议,统一使用JSON数据格式,由调度中心进行时钟解析,执行任务流程,进行任务通知。
关键术语
- 任务(Task): 基本执行单元,执行器对外暴露的一个HTTP调用接口;
- 作业(Job): 由一个或者多个存在相互逻辑关系(串行/并行)的任务组成,任务调度中心调度的最小单位;
- 计划(Plan): 由若干个顺序执行的作业组成,每个作业都有自己的执行周期,计划没有执行周期;
- 任务调度中心(Scheduler): 根据每个的作业的执行周期进行调度,即按照计划、作业、任务的逻辑进行HTTP请求;
- 任务编排中心(Config): 编排中心使用任务来创建计划和作业;
- 任务执行器(Executer): 接收HTTP请求进行业务逻辑的执行;
- Hunter:Spring项目扩展包,负责执行器中的任务抓取,上传注册中心,业务可依赖该组件进行Task编写。
微服务任务调度平台的特性
- 基于注解自动抓取任务,在暴露成HTTP服务的方法上加入@OnlineTask注解,@OnlineTask会自动抓取方法所在的IP地址,端口,请求路径,请求方法,请求参数格式等信息上传到任务注册中心(zookeeper),并同步写入持久化存储中,此方法即任务;
- 基于注解无侵入多线程控制,单一任务实例必须保持单线程运行,任务调度框架自动拦截@OnlineTask注解进行单线程运行控制,保持在一个任务运行时不会被再次调度。而且整个控制过程对开发者完全无感知。
- 调度器自适应任务分配,任务执行过程中出现失败,异常时。可以根据任务定制的策略进行多点重新唤醒任务,保证任务的不间断执行。
- 高度灵活任务编排模式,SIA-TASK的设计思想是以任务为原子,把多个任务按照执行的关系组合起来形成一个作业。同时运行时分为任务调度中心和任务编排中心,使得作业的调度和作业的编排分隔开来,互不影响。在我们需要调整作业的流程时,只需要在编排中心进行处理即可。同时编排中心支持任务按照串行,并行,分支等方式组织关系。在相同任务不同任务实例时,也支持多种调度方式进行处理。
微服务任务调度平台设计
SIA-TASK主要分为五个部分:
- 任务执行器
- 任务调度中心
- 任务编排中心
- 任务注册中心(zookeeper)
- 持久存储(Mysql)
SIA-TASK的主要运行逻辑:
- 通过注解抓取任务执行器中的任务上报到任务注册中心
- 任务编排中心从任务注册中心获取数据进行编排保存入持久化存储
- 任务调度中心从持久化存储获取调度信息
- 任务调度中心按照调度逻辑访问任务执行器
UI预览
首页提供多维度监控
- 调度器信息:展示调度器信息(负载能力,预警值),以及作业分布情况。
- 调度信息:展示调度中心触发的调度次数,作业、任务多维度调度统计。
- 对接项目统计:对使用项目的系统进行统计,作业个数,任务个数等等。
调度监控提供对已提交的作业进行实时监控展示。
- 作业状态实时监控:以项目组为单位面板,展示作业运行时状态。
- 实时日志关联:可以通过涂色状态图标进行日志实时关联展示。
任务管理:提供任务元数据的相关操作
- 任务元数据录入:手动模式的任务,可在此进行录入。
- 任务连通性测试:提供任务连通性功能测试。
- 任务元数据其他操作:修改,删除。
Job管理:提供作业相关操作
- 任务编排:进行作业的编排。
- 发布作业: 作业的创建,修改,以及发布。
- 级联设置:提供存在时间依赖的作业设置。
日志管理
- 本地日志:日志界面简洁,查询快速;日志提供7天的调度日志,以供快速查询。
查看项目
https://www.oschina.net/p/sia-task
作者:宜信开发平台负责人/资深架构师梁鑫
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
微软停止接受华为的新订单
据《南华早报》的最新消息,知情人士透露,自 Google 和 ARM 先后暂停了与华为的业务合作后,微软也已经开始效仿 Google 的做法,停止接受华为的新订单。 这位知情人士表示,华为和微软之间的两大业务领域:用于笔记本电脑的 Windows 操作系统和其他内容相关服务均已被微软暂停 ——因为微软正在遵守美国政府的限制。 据一位知情人士透露,现有华为 PC 上配备的 Windows 操作系统不会受到影响,仍可以获得更新和安全保护。与此同时,微软的服务团队已经搬出了华为位于深圳的总部。 其中一位人士表示:“这并不意味着微软不再与华为合作。两家公司之间暂停业务往来可能只是暂时性的。” 截至发稿时,微软和华为均没对该事件发表回复。
- 下一篇
新思科技发布 OSSRA 报告,分析开源应用趋势和模式
很多软件都是建立在可重用的开源组件的基础之上 。但是使用开源的人员经常忽视相关的安全和许可风险。软件开发人员通常会从开源存储库中获取代码,以嵌入其公司的产品中,加快开发过程。虽然代码重用的效率提高和成本节省很明显,但企业很少定期检查开源代码以查找潜在的安全性和法律问题。很少有公司管理他们的开发人员使用开源。因此,他们仍未了解其开源风险和义务。 美国新思科技公司 (Synopsys, Nasdaq: SNPS)近日发布了《2019年开源安全和风险分析》(OSSRA)报告。该报告由新思科技网络安全研究中心(CyRC)制作,审查了由黑鸭审计服务团队执行的超过1,200个商业应用程序和库的审计结果。报告重点介绍了开源应用的趋势和模式,以及不安全的开源组件和许可证冲突的普遍性。 报告显示,现在企业面临着开源应用风险管理的挑战,这些难题在过去几年就已经有苗头了。然而,数据还表明现在已经达到了一个拐点,由于风险意识和商业软件组件分析解决方案成熟度的提高,许多企业提升了其管理开源风险的能力。 新思科技网络安全研究中心首席安全策略师Tim Mackey 表示:“开源在现代软件开发和部署中发挥着越来越重要...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题