Hadoop2.3完全分布式安装与配置-低调大师

Hadoop2.3完全分布式安装与配置

2017-11-13 507

一、Hadoop基本介绍

Hadoop优点

1.高可靠性：Hadoop按位存储和处理数据

2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台

3.高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度快

4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配

5.低成本：Hadoop是开源的，集群是由廉价的PC机组成

Hadoop架构和组件

Hadoop是一个分布式系统基础架构，底层是HDFS（Hadoop Distributed File System）分布式文件系统，它存储Hadoop集群中所有存储节点上的文件（64MB块），HDFS上一层是MapReduce引擎（分布式计算框架），对分布式文件系统中的数据进行分布式计算。

1.HDFS架构

NameNode：Hadoop集群中只有一个NameNode，它负责管理HDFS的目录树和相关文件的元数据信息

Sencondary NameNode：有两个作用，一是镜像备份，二是日志与镜像定期合并，并传输给NameNode

DataNode：负责实际的数据存储，并将信息定期传输给NameNode

2.MapReduce架构（Hadoop0.23以后采用MapReduce v2.0或Yarn）

Yarn主要是把jobtracker的任务分为两个基本功能：资源管理和任务调度与监控，ResourceManager和每个节点（NodeManager）组成了新处理数据的框架。

ResourceManager：负责集群中的所有资源的统一管理和分配，接受来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各种应用程序（ApplicationMaster）。

NodeManager：与ApplicationMaster承担了MR1框架中的tasktracker角色，负责将本节点上的资源使用情况和任务运行进度汇报给ResourceManager。

MapReduce v1.0框架（图1）

MapReduce v2.0框架（图2）

环境介绍：

master-hadoop 192.168.0.201

slave1-hadoop 192.168.0.202

slave2-hadoop 192.168.0.203

JDK下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

参考官方文档：http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-common/ClusterSetup.html

Hadoop三种运行方式：单节点方式（单台）、单机伪分布方式（一个节点的集群）与完全分布式（多台组成集群）

二、准备环境

1．Hadoop是用Java开发的，必须要安装JDK1.6或更高版本

2．Hadoop是通过SSH来启动slave主机中的守护进程，必须安装OpenSSH

3．Hadoop更新比较快，我们采用最新版hadoop2.3来安装

4．配置对应Hosts记录，关闭iptables和selinux（过程略）

5．创建相同用户及配置无密码认证

三、安装环境（注：三台配置基本相同）

1．安装JDK1.7

 
        [root@master-hadoop ~]
        # tar zxvf jdk-7u17-linux-x64.tar.gz 
       
        [root@master-hadoop ~]
        # mv jdk1.7.0_17/ /usr/local/jdk1.7 
       
        [root@slave1-hadoop ~]
        # vi /etc/profile    #末尾添加变量 
       
        JAVA_HOME=
        /usr/local/jdk1
        .7 
       
        PATH=$PATH:$JAVA_HOME
        /bin 
       
        CLASSPATH=$JAVA_HOME
        /lib
        :$JAVA_HOME
        /jre/lib 
       
        export 
        JAVA_HOME PATH CLASSPATH  
       
        [root@slave1-hadoop ~]
        # source /etc/profile 
       
        [root@slave1-hadoop ~]
        # java -version      #显示版本说明配置成功 
       
        java version
        "1.7.0_17" 
       
        Java(TM) SE RuntimeEnvironment (build 1.7.0_17-b02)
       
        Java HotSpot(TM) 64-BitServer VM (build 23.7-b01, mixed mode)

2．创建hadoop用户，指定相同UID

 
        [root@master-hadoop ~]
        # useradd -u 600 hadoop 
       
        [root@master-hadoop ~]
        # passwd hadoop 
       
        Changing password 
        for 
        userhadoop. 
       
        New password:
       
        Retype new password:
       
        passwd
        : all authenticationtokens updated successfully.

3.配置SSH无密码登录（注：master-hadoop本地也要实现无密码登录）

 
  
    
      
      
        [root@master-hadoop ~]
        # su - hadoop 
       
 
        [hadoop@master-hadoop ~]$ 
        ssh
        -keygen -t rsa     
        #一直回车生成密钥 
       
 
        [hadoop@master-hadoop ~]$ 
        cd 
        /home/hadoop/
        .
        ssh
        / 
       
 
        [hadoop@master-hadoop .
        ssh
        ]$ 
        ls 
       

        id_rsa  id_rsa.pub
       
 
        [hadoop@slave1-hadoop ~]$ 
        mkdir 
        /home/hadoop/
        .
        ssh   
        #登录两台创建.ssh目录 
       
 
        [hadoop@slave2-hadoop ~]$ 
        mkdir 
        /home/hadoop/
        .
        ssh 
       
 
        [hadoop@master-hadoop .
        ssh
        ]$ 
        scp 
        id_rsa.pub hadoop@slave1-hadoop:
        /home/hadoop/
        .
        ssh
        / 
       
 
        [hadoop@master-hadoop .
        ssh
        ]$ 
        scp 
        id_rsa.pub hadoop@slave2-hadoop:
        /home/hadoop/
        .
        ssh
        / 
       
 
        [hadoop@slave1-hadoop ~]$ 
        cd 
        /home/hadoop/
        .
        ssh
        / 
       
 
        [hadoop@slave1-hadoop .
        ssh
        ]$ 
        cat 
        id_rsa.pub >> authorized_keys 
       
 
        [hadoop@slave1-hadoop .
        ssh
        ]$ 
        chmod 
        600 authorized_keys 
       
 
        [hadoop@slave1-hadoop .
        ssh
        ]$ 
        chmod 
        700 ../.
        ssh
        /   
        #目录权限必须设置700 
       
 
        [root@slave1-hadoop ~]
        # vi /etc/ssh/sshd_config   #开启RSA认证 
       
 
        RSAAuthentication 
        yes 
       
 
        PubkeyAuthentication 
        yes 
       
 
        AuthorizedKeysFile .
        ssh
        /authorized_keys 
       
 
        [root@slave1-hadoop ~]
        # service sshd restart 
       
 
    

   
 

四、Hadoop的安装与配置（注：三台服务器配置一样，使用scp复制过去）

 
        [root@master-hadoop ~]
        # tar zxvf hadoop-2.3.0.tar.gz -C /home/hadoop/ 
       
        [root@master-hadoop ~]
        # chown hadoop.hadoop -R /home/hadoop/hadoop-2.3.0/ 
       
        [root@master-hadoop ~]
        # vi /etc/profile   #添加hadoop变量，方便使用 
       
        HADOOP_HOME=
        /home/hadoop/hadoop-2
        .3.0/ 
       
        PATH=$PATH:$HADOOP_HOME
        /bin
        :$HADOOP_HOME
        /sbin 
       
        export 
        HADOOP_HOME PATH 
       
        [root@master-hadoop ~]
        # source /etc/profile

1. hadoop-env.sh设置jdk路径

 
        [hadoop@master-hadoop ~]$ 
        cd 
        hadoop-2.3.0
        /etc/hadoop/ 
       
        [hadoop@master-hadoop hadoop]$ 
        vi 
        hadoop-
        env
        .sh 
       
        export 
        JAVA_HOME=
        /usr/local/jdk1
        .7/

2.slaves设置从节点

 
        [hadoop@master-hadoop hadoop]$ 
        vi 
        slaves 
       
        slave1-hadoop 
       
        slave2-hadoop

3．core-site.xml

 
        <configuration>
       
        <property>
       
        <name>fs.defaultFS<
        /name
        > 
       
        <value>hdfs:
        //master-hadoop
        :9000<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>io.
        file
        .buffer.size<
        /name
        > 
       
        <value>131072<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>hadoop.tmp.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /home/hadoop/tmp
        <
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        > 
       
        4.hdfs-site.xml
       
        <configuration>
       
        <property>
       
        <name>dfs.namenode.name.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /home/hadoop/dfs/name
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>dfs.namenode.data.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /home/hadoop/dfs/data
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>dfs.replication<
        /name
        >    
        #数据副本数量，默认3，我们是两台设置2 
       
        <value>2<
        /value
        >  
       
        <
        /property
        > 
       
        <
        /configuration
        >

6．yarn-site.xml

 
        <configuration>
       
        <property>
       
        <name>yarn.resourcemanager.address<
        /name
        > 
       
        <value>master-hadoop:8032<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.scheduler.address<
        /name
        > 
       
        <value>master-hadoop:8030<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.resource-tracker.address<
        /name
        > 
       
        <value>master-hadoop:8031<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.admin.address<
        /name
        > 
       
        <value>master-hadoop:8033<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.resourcemanager.webapp.address<
        /name
        > 
       
        <value>master-hadoop:8088<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.nodemanager.aux-services<
        /name
        > 
       
        <value>mapreduce_shuffle<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class<
        /name
        > 
       
        <value>org.apache.hadoop.mapred.ShuffleHandler<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        >

7.mapred-site.xml

 
        <configuration>
       
        <property>
       
        <name>mapreduce.framework.name<
        /name
        > 
       
        <value>yarn<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>mapreduce.jobhistory.address<
        /name
        > 
       
        <value>master-hadoop:10020<
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>mapreduce.jobhistory.webapp.address<
        /name
        > 
       
        <value>master-hadoop:19888<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        >

五、格式化文件系统并启动

1.格式化新的分布式文件系统（hdfs namenode -format）

2.启动HDFS文件系统并使用jps检查守护进程是否启动

可以看到master-hadoop已经启动NameNode和SecondaryNameNode进程，slave-hadoop已经启动DataNode进程说明正常。

3.启动新mapreduce架构（YARN）

可以看到master-hadoop已经启动ResourceManger进程，slave-hadoop已经启动NodeManager进程说明正常。

4.查看集群状态

5.通过web查看资源（http://192.168.0.201:8088）

6、查看HDFS状态（http://192.168.0.201:50070）

本文转自李振良OK 51CTO博客，原文链接：http://blog.51cto.com/lizhenliang/1365883，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/410078

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET - 4.0 最新发布版本 -下载使用说明

一、AgileEAS.NET发布包内容界面在前些时间，我们对AgileEAS.NET平台平台进行了一次重构，进程序集进行了合并和裁剪，也发布一个基于新版AgileEAS.NET平台的SAAS结构的案例-AgileEAS.NET平台开发实例-药店系统-快速的SAAS开发体验，但一直没有向大家提供最新版本的下载和详细的介绍。 AgileEAS.NET平台是一套应用系统快速开发平台，用于帮助中小软件开发商快速构建自己的企业信息管理类开发团队，以达到节省开发成本、缩短开发时间，快速适应市场变化的目的，AgileEAS.NET应用开发平台包含基础类库、资源管理平台、运行容器、开发辅助工具等四大部分，资源管理平台为敏捷并行开发提供了设计、实现、测试等开发过程的并行。 AgileEAS.NET平台基于软件过程改进以及构件化快速开发两方面达到这方面的目标，在软件过程改进实践方面，提出了独有的“敏捷并行开发方法”开发方法，其目的是在软件的管理之中提出符合国内中小软件企业实际情况并且可操作的软件工程实践、软件过程改进思想、及相配套的项目管理系统。以下是最新版本AgileEAS.NET 4.0的发布目录...

2017-11-14

563

思考问题 1.桌面虚拟化的由来？ 2.什么是桌面虚拟化？ 3.实现桌面虚拟化带来的好处? 4.桌面虚拟化与云计算？ -------------------------------------------------------------------------- 桌面虚拟化浅谈之一：桌面虚拟化的由来从有现代计算的那一天起，多台设备协同计算就一直是永恒的话题，并逐渐演变出“主机/终端”、“客户机/服务器（C/S）”、“浏览器/服务器（B/S）”等不同时期的模式。但无论何种模式，都反映了同一个指导思想，即”前台“计算与”后台“计算的分工与协同。”后台“在这里主要指数据中心、计算中心等核心设施，通常包括服务器、存储、网络系统、安全系统等；它以基建为导向，更讲求以基础建设为中心，重在集群、容错、灾备、服务器整合等解决方案的完善。而”前台“则泛指终端使用者及其所使用的任何终端设备，如PC、工作站、笔记本、上网本、智能手机、PDA等；它是以应用为导向，非常看重应用与业务的安全、连续、多样、广泛等。随着网络的普及，基于TCP／IP的网络化计算成为事实标准。在很好地承担了历史责任后，“紧耦...

2017-11-14

538

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。