《深入理解Spark:核心思想与源码分析》——3.8节TaskScheduler的启动
本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第3章,第3.8节TaskScheduler的启动,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看 3.8 TaskScheduler的启动3.6节介绍了任务调度器TaskScheduler的创建,要想TaskScheduler发挥作用,必须要启动它,代码如下。taskScheduler.start()TaskScheduler在启动的时候,实际调用了backend的start方法。 override def start() { backend.start() } 以LocalBackend为例,启动LocalBackend时向actorSystem注册了LocalActor,见代码清单3-30所示。3.8.1 创建LocalActor创建LocalActor的过程主要是构建本地的Executor,见代码清单3-36。代码清单3-36 LocalActor的实现 private[spark] class LocalActor(scheduler: TaskSchedulerImpl, executor...