Hadoop1.x MapReduce 程序执行的详细过程-低调大师

Hadoop1.x MapReduce 程序执行的详细过程

2016-07-12 589

         1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。
   2.JobClient提交作业。
   3.JobClient生成作业目录。
   4.从本地拷贝 MapReduce 的作业jar文件
   5.如果DistributedCache中有需要的数据，从DistributedCache中拷贝这部分数据。
   6.根据InputFormat实例，实现输入数据的split，在作业目录上生成job.split和job.splitmetainfo文件。
   7.将配置文件写入到作业目录的job.xml文件中。
   8.JobClient和JobTracker通讯，提交作业。
   9.JobTracker将job加入到job队列中。
   10.JobTracker的TaskScheduler（任务调度器）对job队列进行调度。
   11.TaskTracker通过心跳和JobTracker保持联系，JobTracker收到后根据心跳带来的数据，判断是否可以分配给TaskTracker Task，TaskScheduler会对Task进行分配。
   12.TaskTracker启动TaskRunner实例，在TaskRunner中启动单独的JVM进行Mapper运行。
   13.Map端会从HDFS中读取输入数据，执行之后Map输出数据先是在内存当中，当达到阀值后，split到硬盘上面，在此过程中如果有combiner的话要进行combiner，当然sort是肯定要进行的。
   14.Map结束了，Reduce开始运行，从Map端拷贝数据，称为shuffle阶段，之后执行reduce输出结果数据。
   15.当jobtracker收到作业最后一个任务完成通知后，便把作业的状态设置为“完成”。
   16.在jobclient查询状态时，便知道任务已经完成，于是从runjob（）方法返回。

微信关注我们

原文链接：https://yq.aliyun.com/articles/578827

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云机器学习平台——PAI平台

在云栖TechDay第十五期活动上，阿里云iDST资深技术专家褚崴给大家带来了《阿里云机器学习平台》的分享，他以机器学习的概念入手展开了此次分享，演讲中他重点介绍了阿里云机器学习平台的基础架构和产品特点，并结合阿里内部的芝麻信用分、推荐系统等场景讲解了PAI平台的具体应用方案。下文根据褚崴的演讲内容整理。机器学习图一机器学习分类机器学习简单来说就是，人教机器在我们积累的数据当中发现规律，然后能够辅助我们来做一些预测和决策。机器学习笼统地讲可以分为三类： 1）有监督学习(supervised learning)，是指每个样本都有对应的期望值，然后通过搭建模型，完成从输入的特征向量到目标值映射，典型的例子是回归和分类问题； 2）无监督学习(unsupervised learning)，是指在所有的样本中没有任何目标值，我们期望从数据本

2016-07-13

1151

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51397729 前言近日在线上发现有些mapreduce作业的执行时间很长，我们需要解决这个问题。输入文件的大小是5G，采用了lzo压缩，整个集群的默认block大小是128M。本文将详细描述这次线上问题的排查过程。现象线上有一个脚本，为了便于展示，我将这个脚本重新copy了一份并重命名为zzz。这个脚本实际是使用Hadoop streaming运行一个mapreduce任务，在线上执行它的部分输出内容如下：可以看到map任务划分为1个。这个执行过程十分漫长，我将中间的一些信息省略，map与reduce任务的执行进度如下： 16/05/16 10:22:16 INFO mapreduce.Job: map 0% reduce 0% 16/05/16 10:22:32 INFO mapreduce.Job: map 1% reduce 0% 。。。 16/05/16 10:44:14 INFO mapreduce.Job: map ...

2016-07-14

693

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。