大数据调度系统--EasyScheduler架构分享
大数据调度系统--EasyScheduler架构分享 导语 EasyScheduler(易调度)是易观数据平台研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。 背景 任务调度系统在大数据平台当中是一个核心的基础设施,由于数据处理流程常常具有很长的依赖链条,因此依赖单机的crontab等单纯依赖时间调度的方式,往往存在很大的弊端,如依赖不清晰,出错难以查找等问题,因此,我们调研了市面上流行的调度系统: 鉴于易观日处理数据30多TB,复杂的 ETL依赖关系、易用性、可维护性及方便二次开发等综合原因,我们开发了自己的大数据分布式调度系统EasyScheduler。 总架构设计 EasyScheduler设计围绕四个服务展开,UI、Web、Server和Alert。 UI : 使用易观封装的Vue及jsplumb组件开发 Web:使用SpringBoot提供Rest Api和UI分离交互 ...
