Spark的调度策略详解
Spark的调度策略
Spark目前有两种调度策略，一种是FIFO即先来先得，另一种是FAIR即公平策略。所谓的调度策略就是对待调度的对象进行排序，按照优先级来进行调度。调度的排序接口如下所示，就是对两个可调度的对象进行比较。
private[spark] trait SchedulingAlgorithm { defcomparator(s1: Schedulable, s2: Schedulable): Boolean } 其实现类为FIFOSchedulingAlgorithm、FairSchedulingAlgorithm
/** * FIFO排序的实现，主要因素是优先级、其次是对应的Stage * 优先级高的在前面，优先级相同，则靠前的stage优先 */private[spark] classFIFOSched
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
CDH5之Trash
参考: http://my.oschina.net/cloudcoder/blog/179381 http://www.linuxidc.com/Linux/2012-02/55102.htm 查看CDH 的hdfs的配置,是否开启trash 及 保留时间: 测试: 点击(此处)折叠或打开 1.创建test.txt [root@sht-sgmhadoopnn-01 ~]# vi /tmp/test.txt 1 2 3 4 5 2.创建文件夹 [root@sht-sgmhadoopnn-01 ~]# hadoop fs -mkdir /testdir You have new mail in /var/spool/mail/root [root@sht-sgmhadoopnn-01 ~]# hadoop fs -ls / Found 4 items drwxr-xr-x - hdfs supergroup 0 2016-02-04 00:38 /system drwxr-xr-x - root supergroup 0 2016-02-19 08:17 /testdir drwxrw...
- 下一篇
Spark源码分析之五：Task调度（一）
在前四篇博文中，我们分析了Job提交运行总流程的第一阶段Stage划分与提交，它又被细化为三个分阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。 Stage划分与提交阶段主要是由DAGScheduler完成的，而DAGScheduler负责Job的逻辑调度，主要职责也即DAG图的分解，按照RDD间是否为shuffledependency，将整个Job划分为一个个stage，并将每个stage转化为tasks的集合--TaskSet。 接下来我们要讲的第二阶段Task调度与执行，则是Spark中Job的物理调度，它实际上分为两个主要阶段： 1、Task调度； 2、Task运行。 下面，我们分析下Task的调度。我们知道，在第一阶段的末尾，stage被提交后，每个stage被转化为一组task的集合--TaskSet，而紧接着，则调用taskScheduler.submitTasks()提交这些tasks，而TaskScheduler的主要职责，则是负责Job物理调度阶段-...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Thymeleaf，官方推荐html解决方案
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid，体验最强大的数据库连接池
- CentOS7设置SWAP分区，小内存服务器的救世主
- SpringBoot2全家桶，快速入门学习开发网站教程
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Eclipse初始化配置，告别卡顿、闪退、编译时间过长
微信收款码
支付宝收款码