hadoop&spark安装（上）-低调大师

hadoop&spark安装（上）

2017-11-11 602

硬件环境：

hddcluster1 10.0.0.197 redhat7

hddcluster2 10.0.0.228 centos7 这台作为master

hddcluster3 10.0.0.202 redhat7

hddcluster4 10.0.0.181 centos7

软件环境：

关闭所有防火墙firewall

openssh-clients

openssh-server

java-1.8.0-openjdk

java-1.8.0-openjdk-devel

hadoop-2.7.3.tar.gz

流程：

选定一台机器作为 Master
在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
在 Master 节点上安装 Hadoop，并完成配置
在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
在 Master 节点上开启 Hadoop

 
        #节点的名称与对应的 IP 关系
       
        [hadoop@hddcluster2 ~]$ 
        cat 
        /etc/hosts 
       
        127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
       
        ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
       
        10.0.0.228      hddcluster2
       
        10.0.0.197      hddcluster1
       
        10.0.0.202      hddcluster3
       
        10.0.0.181      hddcluster4

 
        创建hadoop用户
       
        su  
        # 上述提到的以 root 用户登录 
       
        useradd 
        -m hadoop -s 
        /bin/bash   
        # 创建新用户hadoop 
       
        passwd 
        hadoop                     
        #设置hadoop密码 
       
        visudo                            
        #root ALL=(ALL) ALL 这行下面添加hadoop ALL=(ALL) ALL

 
  
    
      
     
        #登录hadoop用户，安装SSH、配置SSH无密码登陆
       
 
        [hadoop@hddcluster2 ~]$ rpm -qa | 
        grep 
        ssh 
       
 
        [hadoop@hddcluster2 ~]$ 
        sudo 
        yum 
        install 
        openssh-clients 
       
 
        [hadoop@hddcluster2 ~]$ 
        sudo 
        yum 
        install 
        openssh-server 
       
 
        [hadoop@hddcluster2 ~]$
        cd 
        ~/.
        ssh
        /     
        # 若没有该目录，请先执行一次ssh localhost 
       
 
        [hadoop@hddcluster2 ~]$
        ssh
        -keygen -t rsa              
        # 会有提示，都按回车就可以 
       
 
        [hadoop@hddcluster2 ~]$
        ssh
        -copy-
        id 
        -i ~/.
        ssh
        /id_rsa
        .pub localhost 
        # 加入授权 
       
 
        [hadoop@hddcluster2 ~]$
        chmod 
        600 .
        /authorized_keys    
        # 修改文件权限 
       
 
        [hadoop@hddcluster2 ~]$
        ssh
        -copy-
        id 
        -i ~/.
        ssh
        /id_rsa
        .pub  hadoop@hddcluster1 
       
 
        [hadoop@hddcluster2 ~]$
        ssh
        -copy-
        id 
        -i ~/.
        ssh
        /id_rsa
        .pub  hadoop@hddcluster3 
       
 
        [hadoop@hddcluster2 ~]$
        ssh
        -copy-
        id 
        -i ~/.
        ssh
        /id_rsa
        .pub  hadoop@hddcluster4 
       
 
    

   
 

 
        #解压hadoop文件到/usr/local/hadoop
       
        [hadoop@hddcluster2 ~]$
        sudo 
        tar 
        -zxf hadoop-2.7.3.
        tar
        .gz -C 
        /usr/local/ 
       
        [hadoop@hddcluster2 ~]$
        sudo 
        mv 
        /usr/local/hadoop-2
        .7.3 
        /usr/local/hadoop 
       
        [hadoop@hddcluster2 ~]$
        sudo 
        chown 
        -R hadoop:hadoop 
        /usr/local/hadoop 
       
        cd 
        /usr/local/hadoop 
       
        .
        /bin/hadoop 
        version 
       
        #安装java环境
       
        [hadoop@hddcluster2 ~]$
        sudo 
        yum 
        install 
        java-1.8.0-openjdk java-1.8.0-openjdk-devel 
       
        [hadoop@hddcluster2 ~]$ rpm -ql java-1.8.0-openjdk-devel | 
        grep 
        '/bin/javac' 
       
        /usr/lib/jvm/java-1
        .8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64
        /bin/javac 
       
        [hadoop@hddcluster2 ~]$ vim ~/.bashrc
       
        export 
        JAVA_HOME=
        /usr/lib/jvm/java-1
        .8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64 
       
        export 
        HADOOP_HOME=
        /usr/local/hadoop 
       
        export 
        HADOOP_INSTALL=$HADOOP_HOME 
       
        export 
        HADOOP_MAPRED_HOME=$HADOOP_HOME 
       
        export 
        HADOOP_COMMON_HOME=$HADOOP_HOME 
       
        export 
        HADOOP_HDFS_HOME=$HADOOP_HOME 
       
        export 
        YARN_HOME=$HADOOP_HOME 
       
        export 
        HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME
        /lib/native 
       
        export 
        PATH=$PATH:$HADOOP_HOME
        /sbin
        :$HADOOP_HOME
        /bin 
       
        export 
        HADOOP_PREFIX=$HADOOP_HOME 
       
        export 
        HADOOP_OPTS=
        "-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native" 
       
        #测试java环境
       
        source 
        ~/.bashrc 
       
        java -version
       
        $JAVA_HOME
        /bin/java 
        -version  
        # 与直接执行 java -version 一样

 
        #修改hadoop文件配置
       
        [hadoop@hddcluster2 hadoop]$ 
        pwd 
       
        /usr/local/hadoop/etc/hadoop
       
        [hadoop@hddcluster2 hadoop]$ 
        cat 
        core-site.xml 
       
        <?xml version=
        "1.0" 
        encoding=
        "UTF-8"
        ?> 
       
        <?xml-stylesheet 
        type
        =
        "text/xsl" 
        href=
        "configuration.xsl"
        ?> 
       
        <!--
       
        Licensed under the Apache License, Version 2.0 (the 
        "License"
        ); 
       
        you may not use this 
        file 
        except 
        in 
        compliance with the License. 
       
        You may obtain a copy of the License at 
       
        http:
        //www
        .apache.org
        /licenses/LICENSE-2
        .0 
       
        Unless required by applicable law or agreed to 
        in 
        writing, software 
       
        distributed under the License is distributed on an 
        "AS IS" 
        BASIS, 
       
        WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
       
        See the License 
        for 
        the specific language governing permissions and 
       
        limitations under the License. See accompanying LICENSE 
        file
        . 
       
        -->
       
        <!-- Put site-specific property overrides 
        in 
        this 
        file
        . --> 
       
        <configuration>
       
        <property> 
       
        <name>fs.defaultFS<
        /name
        > 
       
        <value>hdfs:
        //hddcluster2
        :9000<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>hadoop.tmp.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp
        <
        /value
        > 
       
        <description>Abase 
        for 
        other temporary directories.<
        /description
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        > 
       
        [hadoop@hddcluster2 hadoop]$ 
        cat 
        hdfs-site.xml 
       
        <?xml version=
        "1.0" 
        encoding=
        "UTF-8"
        ?> 
       
        <?xml-stylesheet 
        type
        =
        "text/xsl" 
        href=
        "configuration.xsl"
        ?> 
       
        <!--
       
        Licensed under the Apache License, Version 2.0 (the 
        "License"
        ); 
       
        you may not use this 
        file 
        except 
        in 
        compliance with the License. 
       
        You may obtain a copy of the License at 
       
        http:
        //www
        .apache.org
        /licenses/LICENSE-2
        .0 
       
        Unless required by applicable law or agreed to 
        in 
        writing, software 
       
        distributed under the License is distributed on an 
        "AS IS" 
        BASIS, 
       
        WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
       
        See the License 
        for 
        the specific language governing permissions and 
       
        limitations under the License. See accompanying LICENSE 
        file
        . 
       
        -->
       
        <!-- Put site-specific property overrides 
        in 
        this 
        file
        . --> 
       
        <configuration>
       
        <property> 
       
        <name>dfs.namenode.secondary.http-address<
        /name
        > 
       
        <value>hddcluster2:50090<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>dfs.replication<
        /name
        > 
       
        <value>3<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>dfs.namenode.name.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp/dfs/name
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>dfs.datanode.data.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp/dfs/data
        <
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        > 
       
        [hadoop@hddcluster2 hadoop]$ 
       
        [hadoop@hddcluster2 hadoop]$ 
        cat 
        mapred-site.xml 
       
        <?xml version=
        "1.0"
        ?> 
       
        <?xml-stylesheet 
        type
        =
        "text/xsl" 
        href=
        "configuration.xsl"
        ?> 
       
        <!--
       
        Licensed under the Apache License, Version 2.0 (the 
        "License"
        ); 
       
        you may not use this 
        file 
        except 
        in 
        compliance with the License. 
       
        You may obtain a copy of the License at 
       
        http:
        //www
        .apache.org
        /licenses/LICENSE-2
        .0 
       
        Unless required by applicable law or agreed to 
        in 
        writing, software 
       
        distributed under the License is distributed on an 
        "AS IS" 
        BASIS, 
       
        WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
       
        See the License 
        for 
        the specific language governing permissions and 
       
        limitations under the License. See accompanying LICENSE 
        file
        . 
       
        -->
       
        <!-- Put site-specific property overrides 
        in 
        this 
        file
        . --> 
       
        <configuration>
       
        <property> 
       
        <name>mapreduce.framework.name<
        /name
        > 
       
        <value>yarn<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>mapreduce.jobhistory.address<
        /name
        > 
       
        <value>hddcluster2:10020<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>mapreduce.jobhistory.webapp.address<
        /name
        > 
       
        <value>hddcluster2:19888<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        > 
       
        [hadoop@hddcluster2 hadoop]$ 
       
        [hadoop@hddcluster2 hadoop]$ 
        cat 
        yarn-site.xml  
       
        <?xml version=
        "1.0"
        ?> 
       
        <!--
       
        Licensed under the Apache License, Version 2.0 (the 
        "License"
        ); 
       
        you may not use this 
        file 
        except 
        in 
        compliance with the License. 
       
        You may obtain a copy of the License at 
       
        http:
        //www
        .apache.org
        /licenses/LICENSE-2
        .0 
       
        Unless required by applicable law or agreed to 
        in 
        writing, software 
       
        distributed under the License is distributed on an 
        "AS IS" 
        BASIS, 
       
        WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
       
        See the License 
        for 
        the specific language governing permissions and 
       
        limitations under the License. See accompanying LICENSE 
        file
        . 
       
        -->
       
        <configuration>
       
        <!-- Site specific YARN configuration properties -->
       
        <property> 
       
        <name>yarn.resourcemanager.
        hostname
        <
        /name
        > 
       
        <value>hddcluster2<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>yarn.nodemanager.aux-services<
        /name
        > 
       
        <value>mapreduce_shuffle<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        > 
       
        [hadoop@hddcluster2 hadoop]$ 
       
        [hadoop@hddcluster2 hadoop]$ 
        cat 
        slaves  
       
        hddcluster1
       
        hddcluster2
       
        hddcluster3
       
        hddcluster4

 
  
    
      
      
        $
        cd 
        /usr/local 
       
 
        $
        sudo 
        rm 
        -r .
        /hadoop/tmp     
        # 删除 Hadoop 临时文件 
       
 
        $
        sudo 
        rm 
        -r .
        /hadoop/logs/
        *   
        # 删除日志文件 
       
 
        $
        tar 
        -zcf ~
        /hadoop
        .master.
        tar
        .gz .
        /hadoop   
        # 先压缩再复制 
       
 
        $
        cd 
        ~ 
       
 
        $
        scp 
        .
        /hadoop
        .master.
        tar
        .gz hddcluster1:
        /home/hadoop 
       
 
        $
        scp 
        .
        /hadoop
        .master.
        tar
        .gz hddcluster3:
        /home/hadoop 
       
 
        $
        scp 
        .
        /hadoop
        .master.
        tar
        .gz hddcluster4:
        /home/hadoop 
       
 
    

   
 

 
        在salve节点上操作，安装软件环境并配置好.bashrc
       
        sudo 
        tar 
        -zxf ~
        /hadoop
        .master.
        tar
        .gz -C 
        /usr/local 
       
        sudo 
        chown 
        -R hadoop 
        /usr/local/hadoop

 
        [hadoop@hddcluster2 ~]$hdfs namenode -
        format       
        # 首次运行需要执行初始化，之后不需要 
       
        接着可以启动 hadoop 了，启动需要在 Master 节点上进行启动命令：
       
        $start-dfs.sh
       
        $start-yarn.sh
       
        $mr-jobhistory-daemon.sh start historyserver
       
        通过命令 jps 可以查看各个节点所启动的进程。正确的话，
       
        在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，
       
        另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。
       
        [hadoop@hddcluster2 ~]$ hdfs dfsadmin -report
       
        Configured Capacity: 2125104381952 (1.93 TB)
       
        Present Capacity: 1975826509824 (1.80 TB)
       
        DFS Remaining: 1975824982016 (1.80 TB)
       
        DFS Used: 1527808 (1.46 MB)
       
        DFS Used%: 0.00%
       
        Under replicated blocks: 0
       
        Blocks with corrupt replicas: 0
       
        Missing blocks: 0
       
        Missing blocks (with replication factor 1): 0
       
        -------------------------------------------------
       
        Live datanodes (4):
       
        也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态：http:
        //hddcluster2
        :50070/。如果不成功，可以通过启动日志排查原因。

 
        在 Slave 节点操作可以看到 DataNode 和 NodeManager 进程

 
        测试hadoop分布式实例
       
        首先创建 HDFS 上的用户目录：
       
        hdfs dfs -
        mkdir 
        -p 
        /user/hadoop 
       
        将 
        /usr/local/hadoop/etc/hadoop 
        中的配置文件作为输入文件复制到分布式文件系统中： 
       
        hdfs dfs -
        mkdir 
        input 
       
        hdfs dfs -put 
        /usr/local/hadoop/etc/hadoop/
        *.xml input 
       
        通过查看   的DataNode 的状态（占用大小有改变），输入文件确实复制到了 DataNode 中。
       
        接着就可以运行 MapReduce 作业了：
       
        hadoop jar 
        /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-
        *.jar 
        grep 
        input output 
        'dfs[a-z.]+' 
       
        等待执行完毕后的输出结果：

 
        hadoop启动命令：
       
        start-dfs.sh
       
        start-yarn.sh
       
        mr-jobhistory-daemon.sh start historyserver
       
        hadoop关闭命令：
       
        stop-dfs.sh
       
        stop-yarn.sh
       
        mr-jobhistory-daemon.sh stop historyserver

PS：如果集群有一两台无法启动的话，先尝试一下删除hadoop临时文件

cd /usr/local

sudo rm -r ./hadoop/tmp

sudo rm -r ./hadoop/logs/*

然后执行

hdfs namenode -format

再启动

本文参考了一下网站并实验成功：

http://www.powerxing.com/install-hadoop-cluster/

本文转自 yanconggod 51CTO博客，原文链接:
http://blog.51cto.com/yanconggod/1884998

微信关注我们

原文链接：https://yq.aliyun.com/articles/507683

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

linux添加新硬盘、格式化以及自动挂载

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 [root@hdd4~] #fdisk/dev/vdb anaconda-ks.cfg.bash_profile.pki/ .bash_history.bashrc.tcshrc .bash_logout.cshrc.viminfo [root@hdd4~] #fdisk/dev/vdb#下面操作把硬盘所有容量设置为一个分区 Welcometo fdisk (util-linux2.23.2). Changeswillremain in memoryonly, until...

2017-11-12

803

hadoop&spark安装（下）

上一遍文章中其实最主要的就是JAVA环境变量以及hadoop环境变量的设置，这两个设置好了的话，运行hadoop基本上不会出问题。在hadoop的基础上安装spark好简单。安装Spark之前需要先安装Hadoop集群，因为之前已经安装了hadoop，所以我直接在之前的hadoop集群上安装spark。硬件环境： hddcluster1 10.0.0.197 redhat7 hddcluster2 10.0.0.228 centos7 这台作为master hddcluster3 10.0.0.202 redhat7 hddcluster4 10.0.0.181 centos7 软件环境： scala-2.11.7 spark-2.0.2-bin-hadoop2.7.tgz #所有操作用hadoop 基本流程： 1、master解压scala-2.11.7和spark-2.0.2-bin-hadoop2.7.tgz到相应的目录 2、配置scala和spark环境变量 3、修改配置文件 4、拷贝scala和spark到各个节点，授权 5、启动spark集群 1 2 3 4 5 6 ...

2017-11-12

684

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。