Hadoop 2.4.0和YARN的安装过程-低调大师

Hadoop 2.4.0和YARN的安装过程

2016-05-08 682

Hadoop 2.x新特性

将Mapreduce框架升级到Apache YARN，YARN将Map reduce工作区分为两个：JobTracker组件：实现资源管理和任务JOB；计划/监视组件：划分到单独应用中。使用MapReduce的2.0，开发人员现在可以直接Hadoop内部基于构建应用程序。Hadoop2.2也已经在微软widnows上支持。

YARN带来了什么

    1.HDFS的高可靠性
    2.HDFS snapshots快照
    3.支持HDFS中的 NFSv3 文件系统。

Yarn/map reduce2.0架构图

简单介绍一下这个图：右边的3个节点中的NodeManager会定期的向ResourceManager（简写为RM）报告该节点的状态（块信息，存储信息，该节点中的Map或Reduce任务执行情况等信息），红色的Client向RM提交任务（包括输入文件位置、Mapper和Reducer），RM根据各个节点汇报的情况，为这个Job创建一个Application Master（即图中红色的App Mstr）用于管理这个Job的执行情况。

App Master创建好并接到任务后，会向RM申请资源（包括输入文件位置，内存使用，计算过程等），申请到一些Container（可能在不同节点上）后，会开始在这些节点上执行（根据提供的输入文件位置读取输入文件，执行Map或Reduce任务）这个Job（的部分），App Mstr同时会管理这些节点中的container，并监控这些container的运行情况。

蓝色部分Client----App Mstr----Container过程和红色部分的过程完全相同。

官方的解释在这里：http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html，细节可能有偏差，但大体是这么回事。

准备工作

系统环境如下：

安装好JDK并配置好变量$JAVA_HOME。由于我的机器是Ubuntu的，因此使用apt-get可以安装open-jdk，这里我安装的jdk版本为jdk7u55。

安装Hadoop 2.4

说明：由于我只有一台电脑，所以这里将所有关于hadoop的服务都配置在这里（文章最后将会看到），而HDFS的备份因子默认为3，又由于只有一台机器，因此只能设置为1（下面也有说明）。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于分布式，因此常用于开发人员测试程序执行。

从http://mirror.metrocast.net/apache/hadoop/common/hadoop-2.4.0/下载。

1.解压到/home/hduser/yarn目录，假设user是用户名（我这里的用户名为wxl）。

1

2

3

4

5

 
        $ 
        tar 
        -xvzf hadoop-2.4.0.
        tar
        .gz 
       
 
        $ 
        mv 
        hadoop-2.4.0 
        /home/user/Software/hadoop-2
        .4.0 
       
 
        $ 
        cd 
        /home/user/Software 
       
 
        $ 
        sudo 
        chown 
        -R user:user hadoop-2.4.0 
       
 
        $ 
        sudo 
        chmod 
        -R 755 hadoop-2.4.0 
       

2.在~/.bashrc设置环境，将下面加入：

1

2

3

4

5

6

 
        export 
        HADOOP_HOME=
        /home/hadoop/hadoop-2
        .4.0 
       
        export 
        HADOOP_MAPRED_HOME=$HADOOP_HOME 
       
        export 
        HADOOP_COMMON_HOME=$HADOOP_HOME 
       
        export 
        HADOOP_HDFS_HOME=$HADOOP_HOME 
       
        export 
        YARN_HOME=$HADOOP_HOME 
       
        export 
        HADOOP_CONF_DIR=$HADOOP_HOME
        /etc/hadoop

3.然后再执行下面的命令使配置生效：

1	`$` `source` `~/.bashrc`

4.创建Hadoop数据目录：

1 2	`$` `mkdir` `-p $HADOOP_HOME` `/yarn/yarn_data/hdfs/namenode` `$` `mkdir` `-p $HADOOP_HOME` `/yarn/yarn_data/hdfs/datanode`

5.配置过程：

1 2	`$` `cd` `$HADOOP_HOME` `$` `vi` `etc` `/hadoop/yarn-site` `.xml`

6.编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml，在<configuration>标签中加入以下内容：

 
        <
        property
        > 
       
 
            
        <
        name
        >yarn.nodemanager.aux-services</
        name
        > 
       
 
            
        <
        value
        >mapreduce_shuffle</
        value
        > 
       
 
        </
        property
        > 
       
 
        <
        property
        > 
       
 
            
        <
        name
        >yarn.nodemanager.aux-services.mapreduce.shuffle.class</
        name
        > 
       
 
            
        <
        value
        >org.apache.hadoop.mapred.ShuffleHandler</
        value
        > 
       
 
        </
        property
        > 
       

7.单个集群节点设置，在$HADOOP_HOME/etc/hadoop/core-site.xml文件的<configuration>标签中加入下面内容在配置：

1

2

3

4

5

 
        <
        property
        > 
       
        <
        name
        >fs.default.name</
        name
        > 
       
        <!-- 这个地址用于程序中访问HDFS使用 --> 
       
        <
        value
        >hdfs://localhost:9000</
        value
        > 
       
        </
        property
        >

8.在$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件的<configuration>标签中加入下面内容

 
        <
        property
        > 
       
        <
        name
        >dfs.replication</
        name
        > 
       
        <!-- 单机版的一般设为1，若是集群，一般设为3 --> 
       
        <
        value
        >1</
        value
        > 
       
        </
        property
        > 
       
        <
        property
        > 
       
        <
        name
        >dfs.namenode.name.dir</
        name
        > 
       
        <!-- 即第4步中创建的namenode文件夹位置 --> 
       
        <
        value
        >file:/home/hadoop/hadoop-2.4.0/yarn/yarn_data/hdfs/namenode</
        value
        > 
       
        </
        property
        > 
       
        <
        property
        > 
       
        <
        name
        >dfs.datanode.data.dir</
        name
        > 
       
        <!-- 即第4步中创建的datanode文件夹位置 --> 
       
        <
        value
        >file:/home/hadoop/hadoop-2.4.0/yarn/yarn_data/hdfs/datanode</
        value
        > 
       
        </
        property
        >

9.在$HADOOP_HOME/etc/hadoop/mapred-site.xml文件（如果这个文件不存在，里面有个mapred-site.xml.template文件，拷贝为mapred-site.xml即可）中的<configuration>标签内加入下面的配置：

1

2

3

4

 
        <
        property
        > 
       
 
            
        <
        name
        >mapreduce.framework.name</
        name
        > 
       
 
            
        <
        value
        >yarn</
        value
        > 
       
 
        </
        property
        > 
       

10.格式化namenode，这个过程仅仅在第一次使用之前执行一次。

1	`$ bin` `/hadoop` `namenode -` `format`

11.启动HDFS处理和Map-Reduce 处理（当然，懒人（我就是一个，呵呵）可以把这几句话写在一个诸如"start.sh"的脚本里面，每次就只需要执行./start.sh就可以启动hadoop的所有服务了，同理，停止hadoop的脚本过程也可以这样做。）

        # HDFS(NameNode & DataNode)部分：
       
        $ sbin
        /hadoop-daemon
        .sh start namenode 
       
        $ sbin
        /hadoop-daemon
        .sh start datanode 
       
        # MR(Resource Manager, Node Manager & Job History Server).部分：
       
        $ sbin
        /yarn-daemon
        .sh start resourcemanager 
       
        $ sbin
        /yarn-daemon
        .sh start nodemanager 
       
        $ sbin
        /mr-jobhistory-daemon
        .sh start historyserver

此时终端会提示启动的相关日志被记录在$HADOOP_HOME/logs文件夹中，如图：

12.下面来确认是否成功启动了相关服务：

1

        $ jps
       

# 如果成功，应该有类似下面的输出：

1

2

3

4

5

6

        22844 Jps
       
        28711 DataNode
       
        29281 JobHistoryServer
       
        28887 ResourceManager
       
        29022 NodeManager
       
        28180 NameNode

如果不成功，在启动这些服务的时候会看到有相关的日志输出，可以去$HADOOP_HOME/logs下面查看相关日志来检查哪些服务失败了，然后再对症处理。

13.HDFS还提供了一个WebUI用于查看该文件系统的状态，浏览器打开端口：http://localhost:50070，其中Utilities标签下有个File Browser，可以浏览HDFS中的文件。

14.可以在http://localhost:8088检查应用程序的状态：

15. 在http://localhost:8088/conf查看hadoop集群的所有配置信息：

到此，Hadoop安装算是完成了。

微信关注我们

原文链接：https://yq.aliyun.com/articles/40335

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop MapReduce执行过程详解（带hadoop例子）

分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中的文件，解析成很多的键值对，经过我们覆盖的map方法处理后，转换为很多的键值对再输出。整个Mapper任务的处理过程又可以分为以下几个阶段，如图所示。在上图中，把Mapper任务的运行过程分为六个阶段。第一阶段是把输入文件按照一定的标准分片(InputSplit)，每个输入片的大小是固定的。默认情况下，输入片(InputSplit)的大小与数据块(Block)的大小是相同的。如果数据块(Block)的大小是默认值64MB，输入文件有两个，一个是32MB，一个是72MB。那么小的文件是一个输入片，大文件会分为两个数据块，那么是两个输入片。一共产生三个输入片。每一个输入片由一个Mapper进程处理。这里的三个输入片...

2016-05-09

557

今天在学习如何从hadoop中读取数据时，写了一个简单的方法，测试时，却报以下错误：以下是读取hadoop中文件并写入本地磁盘的代码： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 package hdfs; import java.io.BufferedReader; import java.io.FileWriter; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import org.apache.hadoop.io.IOUtils; public class HDFS{ public static void main(String[]args) throws Exception{ InputStreaminputStream= null ; FileWriterwriter= null ; try { URLurl= n...

2016-05-09

689

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。