MapReduce深度分析(二)

五、JobTracker分析

　　JobTracker是hadoop的重要的后台守护进程之一，主要的功能是管理任务调度、管理TaskTracker、监控作业执行、运行作业容错机制等。

　　首先启动interTrackerServer，将端口配置为mapred.job.tracker绑定的地址和端口。interTrackerServer提供两种用途：

　　　　接收和处理TaskTracker的heartbeat请求，必须实现InterTrackerProtocol接口及协议。

　　　　接收和处理JobClient请求，submitJob、killJob等，必须实现JobSubmissionProtocol接口及协议。

　　其次启动一个infoServer，运行StatusHttpServer，提供web服务。

　　最后，启动5个JobTracker子线程，各子线程功能如下：

ExpireLaunchingTasks：用于停止那些未在超时内报告进度的Task
ExpireTrackers：用于停止那些可能已经当掉的TaskTracker
RetireJobs：用于清除那些已经完成很长时间还存在队列里的作业
JobInitThread：用于初始化用户作业
TaskCommitQueue：用于调度Task的那些所有与FileSystem操作相关的处理，并记录Task的状态信息。

JobTracker的启动分析：

　　主要有两个函数startTracker和offerService()函数。

　　1、JobTracker.startTracker()

　　　　这个函数在启动时被调用主要有两个步骤：

　　　　　　步骤1、构造JobTracker对象result，启动两个RPC服务，并等待JobTracker退出安全模式，如果构造出错，睡眠1秒

　　　　　　步骤2、调用静态方法JobEndNotifier.startNotifier()创建一个线程，从延迟队列JobEndNotifier.queue中取出一个JobEndStatusInfo对象，然后通过sendNotification()调用httpNotification()构造一个HttpClient对象执行相应的http请求。

　　2、JobTracker.offerService()

　　　　负责创建启动5个重要的线程及其回收线程资源。

六、TaskTracker分析

　　TaskTracker的主要任务是执行JobTracker分发的任务。

TaskTracker启动分析：

　　TaskTracker.TaskTracker()-->TaskTracker.run()

　　askTracker.TaskTracker()用于构造TaskTracker类的对象，在上述代码中调用了TaskTracker(conf)含参构造函数，首先为TaskTracker设置JobTracker地址，然后配置启动一个StatusHttpServer对象，将服务绑定到作业配置项tasktracker.http.prot中指定的地址和端口，提供web服务，用于向用户提供web界面查询任务执行情况的服务。最后调用initialize()完成TaskTracker初始化。

　　TaskTracker.run()是TaskTracker的主线程核心函数，调用TaskTracker.offerService()链接JobTracker并开始提供服务。如果出现网络故障，需等待5s，然后重试，根据异常类型可能还需先调用TaskTracker.close完成清理，将所有任务置为失败，关闭RPC server，将TaskTracker.running置为false，清理本地的Map计算输出，关闭取Map计算结果的线程mapEventsFetcher等，清理完成后调用initialize()重新初始化。

TaskTracker核心子线程：

　　MapEventsFetcher线程、taskCleanup线程、TaskRunner线程。

七、心跳机制实现分析

　　在hadoop的master启动的时候会开启一个IPC Server以等待Slave的心跳数据包，Slave启动时会主动链接master，并周期性的每个3s向master发送一个心跳包。slave通过这个心跳包将自己的状态告诉master，然后master在通过心跳包的返回值向slave节点传送执行指令，整个过程就是hadoop的心跳检测机制。

八、作业创建分析

　　作业的创建主要由JobClient类负责完成。JobClient也是用户作业和JobTracker交互的重要接口，可以用来提交作业、跟踪作业的状态、访问子任务的报告、日志等，获取mapreduce集群状态信息等。

　　JobClient在创建作业时执行的主要操作包括：检查输入/输出的有效性，计算作业的Splits，复制作业的jar包和配置文件到HDFS的mapred系统目录，最后提交作业给JobTracker并跟踪作业执行状态。整个作业的创建都在JobClient.runJob()函数中执行。

　　创建流程：

　　　　步骤1、首先根据传入的JobConf参数构造JobClient对象，在JobClient的构造函数中会调用JobClient的init方法，通过其连接到JobTracker。

　　　　步骤2、调用JobClient.submitJob()向JobTracker提交作业，根据返回的RunningJob接口每隔1s检查一次作业的状态，如果执行完毕退出跟踪，如果出错，杀死该作业。

　　初始化：

　　　　步骤1、从配置文件读取mapred.job.tracker，判断是否为本地执行的任务，初始化JobClient的JobSubmitClient。

　　　　步骤2、如果是本地任务，调用LocalJobRunner来初始化。

　　　　步骤3、如果非本地任务，使用RPC机制来构造一个JobSubmissionProtocol接口的代理，即调用JobTracker.getAddress(conf)获得JobTracker地址，再通过JobClient参数调用createProxy方法初始化JobSubmitClient。

　　作业提交：

　　　　提交是通过在JobClient.runJob()函数中调用JobClient.submitJob()函数完成的。最终通过调用JobClient.submitJobInternal()函数提交到作业JobTracker，则该函数返回NetworkedJob的RunningJob对象用于跟踪作业。主要的执行流程如下：

　　　　步骤1、通过jobSubmitClient.getNewJobId()获取作业名。

　　　　步骤2、获得作业提交目录submitJobDit，并设置参数mapreduce.job.dir的值。

　　　　步骤3、获取Job的分布式缓存路径。

　　　　步骤4、获取作业配置文件目录，获取Reduce数目，以及本机Ip地址，并根据Reduce数目是否为零来检查输入/输出设置。 

　　　　步骤5、为用户作业创建Split输入分区。

　　　　步骤6、将JobConf的mapred.job.split.file项配置为job.split在HDFS上的绝对路径，根据splits[]数组大小设置Map任务数。

　　　　步骤7、得到作业队列名并设置ACL队列管理信息。

　　　　步骤8、将JobConf的内容写到HDFS的/${maprede.system.dir}/${jobid}/job.xml中。

　　　　步骤9、最后通过jobSubmitClient.submitJob()将名为JobId的作业提交给JobTracker。返回status变量是JobStatus对象，用于跟踪作业状态。

九、作业执行分析

　　在完成作业创建过程后再JobClient.submitJob()函数中通过JobSubmissionProtocol协议调用JobTracker.submitJob()函数提交作业到JobTracker，在submitJob()函数中主要负责用户的用户作业的初始化、构造JobInProgress对象，并初始化任务列表等，而任务的真正执行实际是由TaskTracker完成的。

JobTracker初始化

　　在submitJob()函数被调用之后，JobTracker就会接收到新的job请求，然后创建一个JobInProgress对象并通过它来来管理和调度任务。JobInProgress在创建的时候会初始化一系列与任务有关的参数。

　　1、JobTracker.submitJob()

　　　　submitJob()是JobTracker初始化的主函数。主要流程如下：

　　　　　　步骤1、得到用户组信息，返回作业状态，新建jobInfo。

　　　　　　步骤2、创建JobInProgress对象，不锁定JobTracker。

　　　　　　步骤3、核对队列是否处于running状态，并检查作业访问权限。

　　　　　　步骤4、检查作业是否因为无效的内存需求而不能运行。

　　　　　　步骤5、通过调用addJob(jobID，job)函数提交作业。该函数会返回JobStatus对象用于跟踪作业的运行状态。

　　2、JobInProgress.JobInProgress()

　　　　这个函数在JobTracker.submitJob()初始化作业中构造JobInProgress对象时调用执行。

　　　　　　步骤1、创建并初始化用于向JobClient汇报作业执行状态的JobStatus对象。

　　　　　　步骤2、设置用户名信息以及该JobInProgress对象的启动时间。

　　　　　　步骤3、在joobTrackerbTracker本地文件系统的${mapred.local.dir}/目录下创建${jobid}.jar，${jobid}.xml和${job.id}目录，并在该目录下创建job.xml文件。

　　　　　　步骤4、从作业配置JobConf中读取作业优先级、队列信息，Map任务数，Reduce任务数等。

　　　　　　步骤5、创建taskCompletionEvents列表。该列表用于JobTracker上跟踪该作业完成事件，初始化大小为Map任务数+Reduce任务数+10

　　　　　　步骤6、构建jobACLs，用于对用户作业进行ACL权限控制。

　　　　　　步骤7、设置Map、Reduce，以及每个Tracker上任务可以容忍失败的百分比。

　　　　　　步骤8、检查每个reduce的估计输入大小是否小于reduce大小的限制值，最后注册作业。

TaskTracker.startNewTask()

　　初始化完成之后，通过该函数启动一个新的任务。在心跳机制检测中，如果JobTracker返回了LaunchTaskAction指令，则TaskTracker在offerService中会调用TaskTracker.startNewTask()函数来处理新任务，即开始执行一个新的计算任务。

TaskTracker.localizeJob()

　　该函数在TaskTracker.startNewTask()中调用，主要负责计算任务初始化(本地化)并启动计算任务。

TaskRunner.run()

　　最终执行TaskRunner.run函数，TaskTracker最终调用TaskTracker.TaskInProgress.launchTask()创建计算线程来执行。