您现在的位置是：首页 > 文章详情

Spark运行流程概述

日期：2015-10-09点击：367收藏

Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。
Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的运行环境。SparkContext负责与ClusterManager通信，进行资源的申请、任务的分配和监控等。当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver.
Executor 某个Application运行在Worker节点上的一个进程，该进程负责运行某些Task,并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的一批Executor.在spark on Yarnm模式下，名为CoarseGrainedExecutor Backend进程有且只有一个executor,它负责将task包装秤taskRunner，并从线程池中抽取出一个空闲线程进行Task.这样每个CoarseGrainedExecutro Backend能并行运行Task的数量就取决于分配给它的CPU的个数。
Cluster Manager 在Hadoop yarn上主要是指ResourceManager
Worker:集群中任何可以运行Application代码的节点，类似于Yarn中的NodeManager节点，在Standalone模式中指的是通过slave文件配置的Worker节点，在Spark on Yarn模式中指的是NodeManager节点。
Task 是运行application的基本单位。多个Task组成一个stage,而Task的调度和管理等由下面的TaskScheduler负责。
Job 包含多个Task组成的并行运算，往往由Spark Action触发产生，一个Application中可能会产生多个job.
Stage 每个job会被划分为很多组Task，作为一个Taskset,名为stage.stage的划分和调度由DAGScheduler负责。Stage有非最终的stage(Shuffle Map stage)和最终的Stage(Result stage)两种。Stage的边界就是发生Shuffle的地方.
共享变量广播变量和只支持加法操作，可以实现求和的累加变量。
宽依赖成为ShuffleDependency,与Hadoop Mapreduce中Shuffle的数据依赖相同，宽依赖需要计算好所有父RDD对应分区的数据，然后在节点之间进行Shuffle。
窄依赖称为NarrowDependency，指具体的RDD，其分区patition a 最多被子RDD中的一个分区patition b依赖。只有map任务，不需要发生Shuffle过程。
DAGScheduler 提交Stage给TaskScheduler.