如何在CentOS上安装Apache Hadoop-低调大师

如何在CentOS上安装Apache Hadoop

2017-08-07 530

Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件。

该项目包括以下模块：

Hadoop Common：支持其他 Hadoop 模块的常用工具。
Hadoop 分布式文件系统 (HDFS™)：分布式文件系统，可提供对应用程序数据的高吞吐量访问支持。
Hadoop YARN：作业调度和集群资源管理框架。
Hadoop MapReduce：一个基于 YARN 的大型数据集并行处理系统。

本文将帮助你逐步在 CentOS 上安装 hadoop 并配置单节点 hadoop 集群。

安装 Java

在安装 hadoop 之前，请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本。

java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

要安装或更新 Java，请参考下面逐步的说明。

第一步是从 Oracle 官方网站下载最新版本的 java。

cd /opt/
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tar xzf jdk-7u79-linux-x64.tar.gz

需要设置使用更新版本的 Java 作为替代。使用以下命令来执行此操作。

cd /opt/jdk1.7.0_79/
alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2
alternatives --config java

There are 3 programs which provide 'java'.
Selection Command
-----------------------------------------------
* 1 /opt/jdk1.7.0_60/bin/java
+ 2 /opt/jdk1.7.0_72/bin/java
3 /opt/jdk1.7.0_79/bin/java
Enter to keep the current selection[+], or type selection number: 3 [Press Enter]

现在你可能还需要使用 alternatives 命令设置 javac 和 jar 命令路径。

alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2
alternatives --set jar /opt/jdk1.7.0_79/bin/jar
alternatives --set javac /opt/jdk1.7.0_79/bin/javac

下一步是配置环境变量。使用以下命令正确设置这些变量。

设置 JAVA_HOME 变量：

export JAVA_HOME=/opt/jdk1.7.0_79

设置 JRE_HOME 变量：

export JRE_HOME=/opt/jdk1.7.0_79/jre

设置 PATH 变量：

export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin

安装 Apache Hadoop

设置好 java 环境后。开始安装 Apache Hadoop。

第一步是创建用于 hadoop 安装的系统用户帐户。

useradd hadoop
passwd hadoop

现在你需要配置用户 hadoop 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
exit

现在从官方网站 hadoop.apache.org 下载 hadoop 最新的可用版本。

cd ~
wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar xzf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 hadoop

下一步是设置 hadoop 使用的环境变量。

编辑 ~/.bashrc，并在文件末尾添加以下这些值。

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

在当前运行环境中应用更改。

source ~/.bashrc

编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并设置 JAVA_HOME 环境变量。

export JAVA_HOME=/opt/jdk1.7.0_79/

现在，先从配置基本的 hadoop 单节点集群开始。

首先编辑 hadoop 配置文件并进行以下更改。

cd /home/hadoop/hadoop/etc/hadoop

让我们编辑 core-site.xml。

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

接着编辑 hdfs-site.xml：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

并编辑 mapred-site.xml：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

最后编辑 yarn-site.xml：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

现在使用以下命令格式化 namenode：

hdfs namenode -format

要启动所有 hadoop 服务，请使用以下命令：

cd /home/hadoop/hadoop/sbin/start-dfs.shstart-yarn.sh

要检查所有服务是否正常启动，请使用 jps 命令：

jps

你应该看到这样的输出。

26049 SecondaryNameNode
25929 DataNode
26399 Jps
26129 JobTracker
26249 TaskTracker
25807 NameNode

现在，你可以在浏览器中访问 Hadoop 服务：http://your-ip-address:8088/ 。

hadoop

谢谢阅读!!!

作者：Anismaj

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/184480

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop 集群搭建之机器选购

两个概念： IO受限在从硬盘或者网络读取数据时遇到瓶颈 CPU受限处理数据时遇到瓶颈带宽受限写入数据网络带宽不够，导致无法实施传递数据常见业务划分硬盘容量敏感型业务这类业务对读写延迟以及吞吐量都没有很大的要求，唯一的需要就是硬盘容量。比如大多数离线读写分析业务，上层应用一般每隔一段时间批量写入大量数据，然后读取也是定期批量读取大量数据。特点：离线写、离线读，需求硬盘容量带宽敏感型业务这类业务大多数写入吞吐量很大，但对读取吞吐量没有什么要求。比如日志实时存储业务，上层应用通过kafka将海量日志实时传输过来，要求能够实时写入，而读取场景一般是离线分析或者在上次业务遇到异常的时候对日志进行检索。特点：在线写、离线读，需求带宽 IO敏感型业务相比前面两类业务来说，IO敏感型业务一般都是较为核心的业务。这类业务对读写延迟要求较高，尤其对于读取延迟通常在100ms以内，部分业务可能要求更高。比如在线消息存储系统、历史订单系统、实时推荐系统等。特点：在（离）线写、在线读，需求内存、高IOPS介质二：内存需要 1. 高峰值计算： 1）假设高峰期有10W个用户，每个用户每秒产生一...

2017-08-07

527

ZDNet至顶网服务器频道 12月15日新闻消息：近年来，随着云计算、移动互联网、物联网等技术的快速发展，数据正呈爆炸式增长，大数据时代已经来临。面对中国市场对大数据解决方案的强劲需求，国际领先的大数据巨头Cloudera公司于12月10日正式宣布在中国设立分公司，将帮助Cloudera提升其在中国的影响力，为中国的用户提供大数据解决方案。 12日，Cloudera在北京召开了媒体见面会，包括Cloudera公司创始人兼首席执行官Mike Olson（欧胜迈）、Cloudera全球副总裁大中国区总经理凌琦、英特尔大数据技术中心高级技术经理王晓栋等嘉宾出席并发表致辞。本次见面会上，Cloudera宣布全新的中国市场策略，旨在进一步扩展中国大数据领域业务，帮助中国乃至世界各地企业从大数据中发掘高价值信息。 Cloudera公司创始人兼首席执行官 Mike Olson （欧胜迈）介绍公司战略 7.4亿美元：英特尔押宝Cloudera进击大数据市场今年3月，英特尔宣布向Cloudera投入大笔资金，总投资额增至7.4亿美元，持股比例达到18%，并已成为Cloudera最大的战略股东。作为由...

2017-08-08

614

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。