您现在的位置是：首页 > 文章详情

Hadoop3单机部署,实现最简伪集群

日期：2021-07-27点击：3923收藏

说明

本次实验的环境和软件版本如下表所示

操作系统	CentOS8
ip	10.0.0.215
jdk	jdk-8u291-linux-x64.tar.gz
hadoop	hadoop-3.2.2.tar.gz

安装准备

1.静态IP

需要给运行的Linux设置静态IP

2.设置主机名

hostnamectl set-hostname hadoop00

重启

reboot

注:hadoop00为主机名,设置完成重启生效

3.配置host映射

vi /etc/hosts

添加

10.0.0.215 hadoop00

注:

10.0.0.215为本机IP

hadoop00为主机名

4.ssh免密码登录

4.1.生成公钥

ssh-keygen -t rsa

4.2.向本机复制公钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.3.验证

ssh hadoop00

注:输入yes,如果此时没有要求输入密码则配置成功

5.安装jdk

请参考[Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装]

6.开放指定端口

firewall-cmd --add-port=9870/tcp && firewall-cmd --add-port=9870/tcp --permanent
firewall-cmd --add-port=8088/tcp && firewall-cmd --add-port=8088/tcp --permanent
firewall-cmd --add-port=9000/tcp && firewall-cmd --add-port=9000/tcp --permanent

注:请参考[CentOS防火墙操作],为了方便可关闭防火墙做实验

systemctl stop firewalld.service && systemctl disable firewalld.service

安装

1.下载Hadoop

下载地址:http://hadoop.apache.org/

镜像地址:https://mirrors.cloud.tencent.com/apache/hadoop/common/

2.解压到任意目录

tar -zxvf hadoop-3.2.2.tar.gz

如:/data0/hadoop/hadoop-3.2.2

3.创建hadoop数据存放目录

如:/data1/hadoop/repo

mkdir -p /data1/hadoop/repo

4.修改hadoop配置

进入配置环境目录

cd /data0/hadoop/hadoop-3.2.2/etc/hadoop

4.1.修改hadoop-env.sh

vi hadoop-env.sh

输入

export JAVA_HOME=/data0/java/jdk1.8.0_291
export HADOOP_LOG_DIR=/data1/hadoop/repo/logs/hadoop

注:

/data0/java/jdk1.8.0_291为jdk安装目录

/data1/hadoop/repo为hadoop数据存放目录

4.2.修改core-site.xml

vi core-site.xml

输入

<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop00:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/data1/hadoop/repo</value>
 </property>
</configuration>

注:

hadoop00为主机名

9000为端口

4.3.修改hdfs-site.xml

vi hdfs-site.xml

输入

<configuration>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
</configuration>

注:

1为数据副本个数

4.4.修改mapred-site.xml

vi mapred-site.xml

输入

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

4.5.修改yarn-site.xml

vi yarn-site.xml

输入

<configuration>
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>

5.修改hadoop启动/停止配置

进入启动脚本目录

cd /data0/hadoop/hadoop-3.2.2/sbin

5.1.修改dfs.sh的启动/停止命令

vi start-dfs.sh

和

vi stop-dfs.sh

都输入

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

5.2.修改yarn.sh的启动/停止命令

vi start-yarn.sh

和

vi stop-yarn.sh

都输入

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6.格式化hdfs

进入hadoop根目录

cd /data0/hadoop/hadoop-3.2.2

格式化

bin/hdfs namenode -format

7.启动/停止

进入hadoop根目录

cd /data0/hadoop/hadoop-3.2.2/sbin

启动

./start-all.sh

停止

./stop-all.sh

查看启动状态

jps

8.web查看状态

浏览器访问

http://10.0.0.215:9870

http://10.0.0.215:8088

hadoop 单机部署集群伪集群

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

文章评论

共有1条评论来说两句吧...

666 说：

6666

2022-04-13

低调大师回道：

666

2024-03-11

文章二维码

扫描即可查看该文章

Java分享