Hadoop单机模式部署-低调大师

Hadoop单机模式部署

2017-11-04 706

一、Hadoop部署模式

单机模式：默认情况下运行为一个单独机器上的独立Java进程，主要用于调试环境

伪分布模式：在单个机器上模拟成分布式多节点环境，每一个Hadoop守护进程都作为一个独立的Java进程运行

完全分布式模式：真实的生产环境，搭建在完全分布式的集群环境

二、添加用户和组

 
        $ 
        sudo 
        adduser hadoop                         
        ##创建用户hadoop 
       
        $ 
        sudo 
        usermod 
        -G 
        sudo 
        hadoop                   
        ##将hadoop用户添加进sudo用户组

三、安装相关软件

 
        $ 
        sudo 
        apt-get update 
       
        $ 
        sudo 
        apt-get -y 
        install 
        openssh-server 
        rsync 
        openjdk-7-jdk 
       
        $ 
        sudo 
        service 
        ssh 
        restart 
       
        $ java -version

四、配置SSH免密登录

 
        $ 
        su 
        -l hadoop                             
        ##切换至hadoop用户 
       
        $ 
        ssh
        -keygen -t rsa -P 
        ""                   
        ##配置SSH免密登录 
       
        $ 
        cat 
        ~/.
        ssh
        /id_rsa
        .pub >> ~/.
        ssh
        /authorized_keys    
        ##将公钥追加到authorized_keys中 
       
        $ 
        ssh 
        localhost                           
        ##验证

五、Hadoop配置

①下载安装Hadoop

 
        $ 
        su 
        -l hadoop 
       
        $ wget http:
        //apache
        .fayea.com
        /hadoop/common/hadoop-2
        .7.1
        /hadoop-2
        .7.1.
        tar
        .gz  
       
        $ 
        tar 
        -zxvf hadoop-2.7.1.
        tar
        .gz 
       
        $ 
        sudo 
        mv 
        hadoop-2.7.1 
        /usr/local/hadoop

②配置Hadoop

a.添加环境变量

 
        $ 
        vi 
        /home/hadoop/
        .bashrc 
       
        #HADOOP START
       
        export 
        JAVA_HOME=
        /usr/lib/jvm/java-7-openjdk-amd64 
       
        export 
        HADOOP_INSTALL=
        /usr/local/hadoop/ 
       
        export 
        PATH=$PATH:$HADOOP_INSTALL
        /bin 
       
        export 
        PATH=$PATH:$HADOOP_INSTALL
        /sbin 
       
        export 
        HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
       
        export 
        HADOOP_COMMON_HOME=$HADOOP_INSTALL 
       
        export 
        HADOOP_HDFS_HOME=$HADOOP_INSTALL 
       
        export 
        YARN_HOME=$HADOOP_INSTALL 
       
        export 
        HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL
        /lib/native 
       
        export 
        HADOOP_OPTS=
        "-Djava.library.path=$HADOOP_INSTALL/lib" 
       
        #HADOOP END
       
        $ .  
        /home/hadoop/
        .bashrc    
        ##重载使其生效

六、测试

①创建输入数据

 
        $ 
        su 
        -l hadoop 
       
        $ 
        cd 
        /usr/local/hadoop 
       
        $ 
        sudo 
        mkdir 
        input 
       
        $ 
        sudo 
        cp 
        /etc/passwd 
        input/

②执行Hadoop WordCount应用（词频统计）

 
        $ bin
        /hadoop 
        jar share
        /hadoop/mapreduce/sources/hadoop-mapreduce-examples-2
        .7.1-sources.jar org.apache.hadoop.examples.WordCount input output

③查看生成的单词统计数据

 
        $ hadoop dfs -
        ls 
        output 
       
        -rw-r--r--   1 hadoop hadoop          0 2015-12-18 13:18 output
        /_SUCCESS 
       
        -rw-r--r--   1 hadoop hadoop       2128 2015-12-18 13:18 output
        /part-r-00000 
       
        $ hadoop dfs -
        cat 
        output/*

附:

配置单节点Hadoop的文档:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

本文转自结束的伤感 51CTO博客，原文链接:http://blog.51cto.com/wangzhijian/1765696

微信关注我们

原文链接：https://yq.aliyun.com/articles/523890

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CentOS7下Elastic Stack 5.0日志分析系统搭建

一、概述 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个开源的用于收集,分析和存储日志的工具。 Kibana也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以汇总、分析和搜索重要数据日志。 Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析活动。Beats由如下组成: 1.Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息， Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支持ICMP (v4 and v6)、...

2017-11-05

545

Hive还可以把表或分区，组织成桶。将表或分区组织成桶有以下几个目的：第一个目的是为看取样更高效，因为在处理大规模的数据集时，在开发、测试阶段将所有的数据全部处理一遍可能不太现实，这时取样就必不可少。第二个目的是为了获得更好的查询处理效率。桶为了表提供了额外的结构，Hive在处理某些查询时利用这个结构，能给有效地提高查询效率。桶是通过对指定列进行哈希计算来实现的，通过哈希值将一个列名下的数据切分为一组桶，并使每个桶对应于该列名下的一个存储文件。　在建立桶之前，需要设置hive.enforce.bucketing属性为true，使得hive能识别桶。以下为创建带有桶的表的语句： CREATE TABLE bucketed_user( id INT, name String ) CLUSTERED BY (id) INTO 4 BUCKETS; 向桶中插入数据，这里按照用户id分成了4个桶，在插入数据时对应4个reduce操作，输出4个文件。分区中的数据可以被进一步拆分成桶，bucket，不同于分区对列直接进行拆分，桶往往使用列的哈希值进行数据采样...

2017-11-05

639

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。