安装hadoop-2.3.0-cdh5.1.2全过程-低调大师

安装hadoop-2.3.0-cdh5.1.2全过程

2017-01-31 658

工欲善其事，必先利其器，啥都不说，Hadoop下载：http://archive.cloudera.com/cdh5/cdh/5/ 选择好相应版本搞起，在本文讲述的是围绕hadoop-2.3.0-cdh5.1.2版本安装过程。（安装环境为自己在VMWare 10里面搭建的三台 Linux 虚拟机）。

1、hadoop 是大apache开源的分布式离线计算框架，语言：java，既然这样，要想搭建hadoop环境（不管伪分布式还是多机集群），那必须在服务器上安装好jdk。

简单过程简单说，简要描述下jdk安装配置过程（据说，hadoop-2.3.0需要jdk1.7+版本支持，咱也不管了，那就装吧，版本：jdk-7u67-linux-i586.tar.gz，安装新jdk之前记得找到linux自带的jdk版本并删除，不明白处自百之）

Ubuntu 12.04下安装JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3安装JDK和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm

Ubuntu14.04 64位安装JDK1.7 http://www.linuxidc.com/Linux/2015-01/111102.htm

a、解压到/usr/java目录下

tar xvf jdk-7u67-linux-i586.tar.gz -C /usr/java

b、 vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67

export CLASSPATH=/usr/java/jdk1.7.0_67/lib

export PATH=$JAVA_HOME/bin:$PATH

c、source /etc/profile //不重启服务器情况下，这句让配置文件生效

d、java -version //验证jdk是否正确安装

2、我们先规划好三台机，并制定好三台机之后的角色：

主机名 ip 角色

master 192.168.140.128 NameNode ResourceManager

slave1 192.168.140.129 DateNode NodeManager

slave2 192.168.140.130 DateNode NodeManager

3、修改主机名：

root 权限下：vi /etc/sysconfig/network

修改内容：HOSTNAME=master （同理两台slave主机也要修改此配置，并分配相应的名字）

同时 vi /etc/hosts （同理两台slave主机也要修改此配置，并分配相应的hosts对应关系）
127.0.0.1 master
192.168.140.129 slave1
192.168.140.130 slave2

修改完重启：reboot

4、建立hadoop用户（包括两台slave）：

useradd hadoop

passwd hadoop

5、master上配置SSH免密码登录

su hadoop //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车生成密钥)

cd/home/hadoop/.ssh/
ls //查看是否有生成两个文件 id_rsa.pub id_rsa

6、同步ssh信息到两台slave, 登录两台slave

mkdir /home/hadoop/.ssh

scp id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

7、新建hadoop安装目录（root权限下操作）

mkdir -p /data/hadoop
8、解压下载下来的hadoop安装包到安装目录（root权限下操作）

tar xvf hadoop-2.3.0-cdh5.1.2.tar.gz -C/data/hadoop
9、将安装目录权限赋予给 hadoop用户：（root权限下操作）

chown -R hadoop.hadoop /data/hadoop/
10、配置hadoop安装信息和路径（root权限下操作）
vi /etc/profile （在最后加上下面内容）
export HADOOP_HOME=/data/hadoop
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
source /etc/profile //让配置生效
11、master上/data/hadoop/etc/hadoop
vi slaves
slave1
slave2
vi masters
master
12、修改如下几个文件，并在中间添加以下相应内容：

a、vi core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>io.file.buffer.size</name>

property>

<name>hadoop.tmp.dir</name>

<value>file:/data/hadoop/tmpvalue>

</property>

</configuration>

b、vi hdfs-site.xml

<name>dfs.namenode.name.dir</name>

<value>file:/data/hadoop/dfs/name</value>

</property>

<name>dfs.namenode.data.dir</name>

<value>file:/data/hadoop/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

</configuration>

c、vi yarn-site.xml

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

d、mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

至此配置文件基本配置完毕。

13、将master上的hadoop安装文件同步到slave1 slave2，(hadop用户权限下即可)

cd /data/hadoop
scp -r /data/hadoop/*hadoop@slave1:/data/hadoop/ //同步到slave1

scp -r /data/hadoop/*hadoop@slave2:/data/hadoop/ //同步到slave2

14、最后我们来到 /data/hadoop/bin目录下

./hadoop namenode -format //启动hadoop

15、如果没有报错信息，基本是可以说 hadoop起来了,随便截取了最后几段日志：

15/01/13 18:08:10 INFO util.GSet:VM type = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.25% max memory 966.7 MB = 2.4 MB
15/01/13 18:08:10 INFO util.GSet:capacity = 2^19 = 524288 entries
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.extension = 30000
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache on namenode is enabled
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cacheentry expiry time is 600000 millis
15/01/13 18:08:10 INFO util.GSet:Computing capacity for map NameNodeRetryCache
15/01/13 18:08:10 INFO util.GSet:VM type = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.029999999329447746% max memory 966.7 MB = 297.0 KB
15/01/13 18:08:10 INFO util.GSet:capacity = 2^16 = 65536 entries
15/01/13 18:08:10 INFOnamenode.AclConfigFlag: ACLs enabled? false
Re-format filesystem in StorageDirectory /data/hadoop/dfs/name ? (Y or N) Y
15/01/13 18:08:17 INFOnamenode.FSImage: Allocated new BlockPoolId:BP-729401054-127.0.0.1-1421143697660
15/01/13 18:08:17 INFOcommon.Storage: Storage directory /data/hadoop/dfs/name has been successfullyformatted.
15/01/13 18:08:18 INFOnamenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
15/01/13 18:08:18 INFOutil.ExitUtil: Exiting with status 0
15/01/13 18:08:18 INFOnamenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting downNameNode at master/127.0.0.1
************************************************************/

程序员干久了，性格沉闷，言辞干瘪，简单的描述只为做个记录，多多指教。

CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式） http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建） http://www.linuxidc.com/Linux/2011-12/48894.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

摘自永久更新链接地址：http://www.linuxidc.com/Linux/2015-01/111740.htm

本文转自茄子_2008博客园博客，原文链接：http://www.cnblogs.com/xd502djj/p/5020172.html，如需转载请自行联系原作者。

微信关注我们

原文链接：https://yq.aliyun.com/articles/353923

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elasticsearch上手——Python API的简单使用

Python够直接，从它开始是个不错的选择。 Elasticsearch客户端列表：https://www.elastic.co/guide/en/elasticsearch/client/index.html Python API：https://www.elastic.co/guide/en/elasticsearch/client/python-api/current/index.html 参考文档：http://elasticsearch-py.readthedocs.io/en/master/index.html 安装我在CentOS 7上安装了Python3.6，安装时使用下面的命令： pip3 install elasticsearch 安装时需要root权限牛刀小试由于Elasticsearch索引的文档是JSON形式，而MongoDB存储也是以JSON形式，因此这里选择通过MongoDB导出数据添加到Elasticsearch中。使用MongoDB的Python API时，需要先安装pymongo，命令：pip3 install pymongo import ...

2017-02-01

597

1.概述 Apache Arrow 是 Apache 基金会全新孵化的一个顶级项目。它设计的目的在于作为一个跨平台的数据层，来加快大数据分析项目的运行速度。 2.内容现在大数据处理模型很多，用户在应用大数据分析时，除了将 Hadoop 等大数据平台作为一个存储和批处理平台之外，同样也得关注系统的扩展性和性能。过去开源社区已经发布了很多工具来完善大数据分析的生态系统，这些工具包含了数据分析的各个层面，例如列式存储格式（Parquet，ORC），内存计算模型（Drill，Spark，Impala 和 Storm）以及其强大的 API 接口。而 Arrow 则是最新加入的一员，它提供了一种跨平台应用的内存数据交换格式。在数据快速增长和复杂化的情况下，提高大数据分析性能一个重要的途径是对列式数据的设计和处理。列式数据处理借助了向量计算和 SIMD 使我们可以充分挖掘硬件的潜力。而 Apache Drill 其大数据查询引擎无论是在硬盘还是内存中数据都是以列的方式存在的，而 Arrow 就是由 Drill 中的 Value Vector 这一数据格式发展而来。此外，Arrow 也支持关系型和...

2017-02-05

787

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。