Spark Streaming 妙用之实现工作流调度器
之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念),我们可能能简化这些工作。我在这块并没有什么经验,这只是一个存在于脑海中的东西。
下面是Azkaban的架构图:
也就是说要搭建一个稳定可靠的Azkaban的工作流调度器,你可能需要
- 两台 互为主备MySQL
- 两台Executor Server
- 一台Web Server
你需要做架构设计,考虑WebServer 和 Executor Server的通讯问题
扩展性问题。Executor 能够动态调整?
稳定性问题。毕竟24小时运行的
然而,我们其实是不需要关注这么多东西的。我们真正关注的是:
- Web UI
- 工作流的生成,解析,运行和存储
其他的都是基础设施。按照Transfomer架构的设计理念,我们应该可以找到一个Estimator ,作为我们的基础设施,我们只要关注上面两点即可,不需要为部署,高可用,稳定等发愁。同时我们也希望譬如WebUI等工作不是从头开始,而是按部就班添加新功即可。所以有了Estimator,我们只要做三点:
- 实现业务逻辑,也就是工作流的生成,解析,运行和存储等操作。
- 实现管理页面逻辑
- 指定需要的资源cpu/内存,就能Run起来这个Transformer
我搜罗了一圈,发现Spark Streaming 是能够满足该需求的一个Estimator。
这得益于,Spark Streaming 从某个角度而言就是个定时任务调度系统,也就是我们说的微批处理。对于工作流调度器而言,无非就是每个周期(duration)在Driver端启动线程扫描MySQL,实现任务的分发和执行。
那如果实现一个类似Azkaban 能够的做的事情,前面我们提到,要做三件事情,分别对应为:
1.实现业务逻辑,也就是工作流的生成,解析,运行和存储等操作。其中生成,解析,存储 三个环节可以放在Driver端,也可以都放在Executor 端。也就是说:Driver的设计可重可轻。重的设计可由Driver读取MySQL 并且解析成工作流任务,然后发送给Executor 去执行。轻的设计Driver仅仅是读取MySQL,然后就简单将id分发给各个Executor,各个Executor 负责解析执行和反馈结果。
2.增强 Spark Streaming UI,添加管理页面,实现Azkaban Web Server类似界面。
3.按标准的Spark Streaming 程序提交该实现到集群即可完成部署。
我们看到,我们真正做到了只关注核心业务逻辑的实现,所谓部署,安装,运行等环节都实现了平台化(其实Estimator完成了)。 而且实现了资源的细粒度(CPU/内存)划分,而不再是以服务器为基本单元。
事实上,我们也可以将一个Spark Streaming当做一个crontab 任务,这样就自然具有了一个分布式的crontab系统,并且提供更友好的管理,甚至能将任务本身融入到crontab中。
后话
Spark Streaming 不一定是最合适的Estimator,你可以自己实现一套类似的Estimator,最终形成所谓的 Azkaban On Yarn的程序。
作者:祝威廉来源:51CTO

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
《UX最佳实践:提高用户体验影响力的艺术 》一2.5 主要经验与建议
2.5 主要经验与建议 经历了项目的各个阶段,我们知道了哪些实践是可行的,哪些需要改进。这曾是一个不断学习的过程,如今我们依然还在学习。本章中推荐的大部分UX实践对你和你的公司应该会有所帮助。但有些实践更适合在流程更复杂的大型公司和全球性组织中执行。你可以听取一些我们的建议,试着在你的公司中执行。你将会知道哪些实践经验是有用的,哪些需要根据自己的实际情况做调整。 2.5.1 关于扩大对技术影响力的建议 明确UI需求的优先级 从客户和用户的角度考虑UI需求的优先级。运用用户研究数据和最终用户UI验证结果证明优先级的正确性。让UI需求变得简单易懂 决策者需要理解UI需求。通过截图表达视觉效果,使用简单易懂的术语。如果你的需求是从可用性测试结果中发现的,还可以播放一段用户界面令用户抓狂的视频,只需要截选亮点即可。为UI架构团队提出需求 在为U
- 下一篇
物联网:将在2016年全面爆发
2015可谓是物联网发展的井喷之年,“互联网+”的政策扶持下,交通、能源、零售等行业联动发展,可穿戴设备、工业互联网惊喜亮相,物联网远不止2015年这么亮眼。 一个大方向 第十二届全国人民代表大会期间,李克强总理提出制定“互联网+”行动计划——推动移动互联网、云计算、大数据、物联网等与现代制造业结合,促进电子商务、工业互联网和互联网金融健康发展,引导互联网企业拓展国际市场。从通信、电子等信息科技企业到交通、零售等传统企业,大家都在积极借助“互联网+”计划促进产业新升级,新发展。 而物联网在这个过程中也在积极响应“互联网+”战略号召,借助互联网的深入发展,物联网也逐渐扩张其发展版图,从交通、工业、能源等国计民生领域到家庭、课堂等走到人们身边。物联网也在不断深入人们生活,改变人们与世界相处的方式与体验。 一个新领域 随着“互联网+”战略的深入,传统产业也在积极探索互联网环境下的新发展,其中令我们耳目一新的要数工业互联网。其实工业互联网并不是一个新概念,它是2013年由GE研发部门命名并提出,借助传感技术、大数据、物联网能多项技术提高工业发展的效率与安全性,优化工业生产模式,提高经济效益。我...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题