Hadoop集群安装--Ubuntu-低调大师

Hadoop集群安装--Ubuntu

2017-11-14 584

我家宝最近在自学Hadoop，于是乎跟着一起玩玩，在此为她整理一篇基础搭建的博客，希望对她能有所帮助。同样，开始之前先来了解下，什么是Hadoop。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分区成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

搭建

搭建集群的话，需要最少两台机器来搭建一个多节点的Hadoop环境，我这里使用Hadoop最新稳定的2.7.3版本和三台云主机（1主两从，Ubuntu1404 LTS）。

修改hosts文件

保证三台机器的网络是可达的前提下，更改主机名，并修改hosts文件：

 
        # hostnamectl  set-hostname master   // 在master节点上执行
       
        # hostnamectl  set-hostname slave-1  // 在slave-1节点上执行
       
        # hostnamectl  set-hostname slave-2  // 在slave-2节点上执行
       
        分别把三台机器的hosts文件进行修改：
       
        # vim /etc/hosts
       
        192.168.1.2  master
       
        192.168.1.3  slave-1
       
        192.168.1.4  slave-2

2.在master和slave节点上安装java:

 
        # add-apt-repository ppa:webupd8team/java  //添加ppa
       
        # apt-get update
       
        # apt-get installoracle-java8-installer 
       
        # java -version  //检验Java版本
       
        java version 
        "1.8.0_121" 
       
        Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
       
        Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

3.禁用IPv6

现在Hadoop目前对IPv6不是很好，在一些Linux发行版上可能造成一些未知bug。在Hadoop Wiki上提供了方法来禁用，我这里修改sysctl.conf文件，添加以下几行：

 
        # vim /etc/sysctl.conf
       
        net.ipv6.conf.all.disable_ipv6 = 1
       
        net.ipv6.conf.default.disable_ipv6 = 1
       
        net.ipv6.conf.lo.disable_ipv6 = 1
       
        # sysctl -p  //使其立即生效

4.创建Hadoop User

在master和slave节点上执行：

 
        # addgroup hdgroup  //创建hadoop group
       
        # adduser —ingroup hdgroup hduser  //创建Hadoop User并加入Hadoop group
       
        Adding user `hduser' ...
       
        Adding new user `hduser
        ' (1001) with group `hdgroup' 
        ... 
       
        Creating home directory `
        /home/hduser
        ' ... 
       
        Copying files from `
        /etc/skel
        ' ... 
       
        Enter new UNIX password:            
        //
        输入密码之后一路回车即可 
       
        Retype new UNIX password:
       
        passwd
        : password updated successfully 
       
        Changing the user information 
        for 
        hduser 
       
        Enter the new value, or press ENTER 
        for 
        the default 
       
        Full Name []: 
       
        Room Number []: 
       
        Work Phone []: 
       
        Home Phone []: 
       
        Other []: 
       
        Is the information correct? [Y
        /n
        ]

Hadoop要求无密码登录，所以需要生成秘钥,这里注意要用刚才创建的普通hduser用户,分别在master和slave上执行如下操作：

 
        # su - hduser
       
        $ 
        ssh
        -keygen -N 
        '' 
       
        Generating public
        /private 
        rsa key pair. 
       
        Enter 
        file 
        in 
        which 
        to save the key (
        /home/hduser/
        .
        ssh
        /id_rsa
        ): 
       
        Created directory 
        '/home/hduser/.ssh'
        . 
       
        Your identification has been saved 
        in 
        /home/hduser/
        .
        ssh
        /id_rsa
        . 
       
        Your public key has been saved 
        in 
        /home/hduser/
        .
        ssh
        /id_rsa
        .pub. 
       
        The key fingerprint is:
       
        5b:ae:c6:5a:ce:66:51:d3:6c:6c:14:9b:b2:8a:da:e9 hduser@master
       
        The key's randomart image is:
       
        +--[ RSA 2048]----+
       
        |            ..   |
       
        |            .o   |
       
        |          .=o    |
       
        |          oo*    |
       
        |        S.o+     |
       
        |       ..=       |
       
        |      ..+..      |
       
        |     o ==.       |
       
        |    ..E=+        |
       
        +-----------------+
       
        $ 
        ssh
        -copy-
        id 
        hduser@master 
       
        $ 
        ssh
        -copy-
        id 
        hduser@slave-1 
       
        $ 
        ssh
        -copy-
        id 
        hduser@slave-2

5.下载和安装Hadoop

登录Hadoop的官方下载地址，选择你需要的版本，复制下载链接，这里我选用最新的2.7.3版本:

打开链接之后，右键复制链接地址：

在master和slave上分别执行（你也可以在一台机器上下载完之后拷贝到另外两台上）：

 
        $ 
        cd 
        /home/hduser 
       
        $ wget -c 
       
        $ 
        tar 
        -zxvf hadoop-2.7.3.
        tar
        .gz 
       
        $ 
        mv 
        hadoop-2.7.3 hadoop

6.更改环境变量

首先确定之前安装的java home目录，查找办法如下（在任意一台机器上执行）：

 
        hduser@master:~$ 
        env 
        | 
        grep 
        -i java 
       
        JAVA_HOME=
        /usr/lib/jvm/java-8-oracle

分别在master和slave节点上执行以下操作,编辑".bashrc"文件，添加如下几行：

 
        $ vim .bashrc   
        //
        编辑文件，添加如下几行 
       
        export 
        HADOOP_HOME=
        /home/hduser/hadoop 
       
        export 
        JAVA_HOME=
        /usr/lib/jvm/java-8-oracle 
       
        PATH=$PATH:$HADOOP_HOME
        /bin
        :$HADOOP_HOME
        /sbin 
       
        $ 
        source  
        .bashrc   
        //source
        使其立即生效

分别在master和slave节点上执行以下操作,更改Hadoop-env的JAVA_HOME：

 
        $ vim 
        /home/hduser/hadoop/etc/hadoop/hadoop-env
        .sh 
       
        #export JAVA_HOME=${JAVA_HOME}   //更改此行，或者注释掉新加以下一行
       
        export 
        JAVA_HOME=
        /usr/lib/jvm/java-8-oracle

7.Hadoop配置

Hadoop的配置这里主要涉及四个配置文件：etc/hadoop/core-site.xml，etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml.

这里摘录网络上的一段话，在继续下面的操作之前一定要阅读这段，以便更好的理解：

Hadoop Distributed File System: A distributed file system that provides high-throughput access to application data. A HDFS cluster primarily consists of a NameNode that manages the file system metadata and DataNodes that store the actual data. If you compare HDFS to a traditional storage structures ( e.g. FAT, NTFS), then NameNode is analogous to a Directory Node structure, and DataNode is analogous to actual file storage blocks.
Hadoop YARN: A framework for job scheduling and cluster resource management.
Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

①在master和slave节点上更改"core-site.xml"文件，master和slave节点应该使用相同"fs.defaultFS"值，而且必须指向master节点;在“configuration”中间添加如下配置：

 
        <property>
       
        <name>hadoop.tmp.
        dir
        <
        /name
        > 
       
        <value>
        /home/hduser/tmp
        <
        /value
        > 
       
        <description>Temporary Directory.<
        /description
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>fs.defaultFS<
        /name
        > 
       
        <value>hdfs:
        //master
        :54310<
        /value
        > 
       
        <description>Use HDFS as 
        file 
        storage engine<
        /description
        > 
       
        <
        /property
        >

最终core-site.xml配置文件如下图所示：

如果tmp目录不存在，需要手动创建一个：

 
        $ 
        mkdir 
        /home/hduser/tmp 
       
        $ 
        chown 
        -R hduser:hdgroup 
        /home/hduser/tmp 
        //
        非hduser用户创建虚赋权

②只在master节点上更改"mapred-site.xml"文件，由于没有这个文件，需要需要复制那个template文件生成一个：

 
        $ 
        cd 
        /home/hduser/hadoop/ 
       
        $ 
        cp 
        -av etc
        /hadoop/mapred-site
        .xml.template etc
        /hadoop/mapred-site
        .xml

编辑xml配置文件，在“configuration”中间添加如下配置：

 
        <property>
       
        <name>mapreduce.jobtracker.address<
        /name
        > 
       
        <value>master:54311<
        /value
        > 
       
        <description>The host and port that the MapReduce job tracker runs 
       
        at. If “
        local
        ”, 
        then 
        jobs are run 
        in
        -process as a single map 
       
        and reduce task. 
       
        <
        /description
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>mapreduce.framework.name<
        /name
        > 
       
        <value>yarn<
        /value
        > 
       
        <description>The framework 
        for 
        running mapreduce jobs<
        /description
        > 
       
        <
        /property
        >

③在master和slave节点上更改"hdfs-site.xml"文件，在“configuration”中间添加如下配置：

 
        <property>
       
        <name>dfs.replication<
        /name
        > 
       
        <value>2<
        /value
        > 
       
        <description>Default block replication. 
       
        The actual number of replications can be specified when the 
        file 
        is created. 
       
        The default is used 
        if 
        replication is not specified 
        in 
        create 
        time
        . 
       
        <
        /description
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>dfs.namenode.name.
        dir
        <
        /name
        > 
       
        <value>
        /data/hduser/hdfs/namenode
        <
        /value
        > 
       
        <description>Determines where on the 
        local 
        filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories 
        then 
        the name table is replicated 
        in 
        all of the directories, 
        for 
        redundancy. 
       
        <
        /description
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>dfs.datanode.data.
        dir
        <
        /name
        > 
       
        <value>
        /data/hduser/hdfs/datanode
        <
        /value
        > 
       
        <description>Determines where on the 
        local 
        filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, 
        then 
        data will be stored 
        in 
        all named directories, typically on different devices. Directories that 
        do 
        not exist are ignored. 
       
        <
        /description
        >

并创建刚才配置文件中指定的目录：

 
        $ 
        mkdir 
        -p 
        /home/hduser/data/hduser/hdfs/
        {namenode,datanode} 
       
        $ 
        chown 
        -R hduser:hdgroup 
        /home/hduser/data/  
        //
        如果非hduser用户创建的需要赋权

1).这里dfs.replication的默认值为3，这里我设置了2个副本，代表每个存储到HDFS的文件都有额外一个副本，这里的值可以视集群规模而定。

2)dfs.namenode.name.dir和dfs.datanode.name.dir是namenode和datanode存放HDFS数据块文件的位置，如果没有需要手动创建。

④在master和slave节点上更改"yarn-site.xml"文件，master和slave节点应该使用相同的值，并且指向master节点。在“configuration”中间添加如下配置：

 
        <property>
       
        <name>yarn.nodemanager.aux-services<
        /name
        > 
       
        <value>mapreduce_shuffle<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.scheduler.address<
        /name
        > 
       
        <value>master:8030<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.address<
        /name
        > 
       
        <value>master:8032<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.webapp.address<
        /name
        > 
       
        <value>master:8088<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.resource-tracker.address<
        /name
        > 
       
        <value>master:8031<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.admin.address<
        /name
        > 
       
        <value>master:8033<
        /value
        > 
       
        <
        /property
        >

⑤更新slave文件

在master节点上修改slave文件,添加master和slave节点的主机名或者ip地址，并去掉"localhost"：

 
        $ vim 
        /home/hduser/hadoop/etc/hadoop/slaves 
       
        master
       
        slave-1
       
        slave-2

⑥格式化namenode：

在启动cluster之前需要先格式化namenode，在master上执行：

 
        $ hdfs namenode -
        format

看到类似提示INFO："Storage directory /home/hduser/data/hduser/hdfs/namenode has been successfully formatted."表示格式化成功。

⑦启动服务

可以直接使用Hadoop提供的脚本"start-all.sh"启动所有服务，也可以把dfs和yarn分别启动。可以使用绝对路径:/home/hduser/hadoop/sbin/start-all.sh，也可以直接调用start-all.sh脚本（因为前面已经改过PATH的路径）：

 
        $ start-all.sh

如下图所示没有看到任何错误信息，表示集群已成功启动：

⑧验证查看

使用jps命令分别在master和slave上查看启动的服务

网页验证：

浏览器打开：http://master:50070

查看yarn web console: http://master:8088/cluster/nodes

如果所有node均正常启动，这里能够全部显示：

Hadoop解压的share目录里给我们提供了几个example的jar包，我们执行一个看下效果：

 
        $ hadoop jar 
        /home/hduser/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2
        .7.3.jar  pi 30 100

执行之后通过浏览器访问：http://master:8088/cluster/apps

能够看到当前执行的任务：

写在最后：

如果在新增了节点或者删除节点的时候出现了问题，首先删除slave的hadoop.tmp.dir，然后重新启动试试看，如果还是不行,尝试把Master的hadoop.tmp.dir删除（意味着dfs上的数据也会丢失）然后需要重新namenode –format。
如果有任何报错信息记得去查log日志，文件位置在Hadoop的安装目录logs文件夹下。

本文转自Jx战壕 51CTO博客，原文链接：http://blog.51cto.com/xujpxm/1896964，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/548207

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MAPREDUCE实践篇（1）

2.1MAPREDUCE示例编写及编程规范 2.1.1编程规范（1）用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) （2）Mapper的输入数据是KV对的形式（KV的类型可自定义）（3）Mapper的输出数据是KV对的形式（KV的类型可自定义）（4）Mapper中的业务逻辑写在map()方法中（5）map()方法（maptask进程）对每一个<K,V>调用一次（6）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV （7）Reducer的业务逻辑写在reduce()方法中（8）Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法（9）用户自定义的Mapper和Reducer都要继承各自的父类（10）整个程序需要一个Drvier来进行提交，提交的是一个描述了各种必要信息的job对象 1.7.2 wordcount示例编写需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数 (1)定义一个mapper类 //首先要定义四个泛型的类型 //key...

2017-11-15

468

hadoop命令行客户端支持的命令参数

HDFS前言 l设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l重点概念：文件切块，副本存放，元数据 HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；重要特性如下：（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M （2）HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data （3）目录结构及文件分块信息(元数据)的管理由namenode节点承担 ——namenode是HDFS集群主节点，负责维护整...

2017-11-15

579

发表评论

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。