Hadoop MapReduce概念学习系列之MapReduce 作业的生命周期(十)
这个过程分为以下 5 个步骤: 步骤 1 作业提交与初始化。用户提交作业后,首先由 JobClient 实例将作业相关信 息,比如将程序 jar 包、作业配置文件、分片元信息文件等上传到分布式文件系统(一般为HDFS)上,其中,分片元信息文件记录了每个输入分片的逻辑位置信息。然后 JobClient 通过 RPC通知JobTracker。JobTracker收到新作业提交请求后,由作业调度模块对作业进 行初始化 :为作业创建一个JobInProgress对象以跟踪作业运行状况,而 obInProgress 则会 为每个Task创建一个TaskInProgress 对象以跟踪每个任务的运行状态,TaskInProgress 可能需要管理多个“Task 运行尝试”(称为“Task Attempt”)。 步骤 2 任务调度与监控。前面提到,任务调度和监控的功能均由JobTracker 完成。 TaskTracker 周期性地通过Heartbeat向JobTracker汇报本节点的资源使用情况,一旦出现空闲资源,JobTracker会按照一定的策略选择一个合适的任务使用该空闲资源,这由任务调...






