Hadoop3单机部署,实现最简伪集群-低调大师

Hadoop3单机部署,实现最简伪集群

2025-09-05 5164

阅读主题：

1.节点说明

ip	hostname	说明
10.0.0.120	hadoop-all	主节点+数据节点

2.环境准备

需要JDK1.8运行环境,搭建请参考[Jdk安装(Linux,MacOS,Windows)]

3.设置主机名

sh 复制代码

# 主节点
hostnamectl set-hostname hadoop-all

4.设置host

sh 复制代码

# 所有节点配置
echo "10.0.0.120  hadoop-all" >> /etc/hosts

5.设置ssh免密码登录(主节点)

sh 复制代码

# 设置主节点自身ssh免密码登录以及主节点对各个数据节点ssh免密码登录
# 以下操作在主节点进行

# 生成公钥
ssh-keygen -t rsa

# 向主节点(本机)复制公钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 验证,输入yes,如果此时没有要求输入密码则配置成功
ssh hadoop-all

6.开放端口

sh 复制代码

# 主节点
firewall-cmd --add-port=9870/tcp && firewall-cmd --add-port=9870/tcp --permanent
firewall-cmd --add-port=8088/tcp && firewall-cmd --add-port=8088/tcp --permanent
firewall-cmd --add-port=9000/tcp && firewall-cmd --add-port=9000/tcp --permanent
firewall-cmd --add-port=50090/tcp && firewall-cmd --add-port=50090/tcp --permanent

# 或者关闭关闭防火墙
systemctl stop firewalld.service && systemctl disable firewalld.service

7.准备hadoop安装包

sh 复制代码

# 下载地址
http://hadoop.apache.org/
# 镜像地址
https://mirrors.cloud.tencent.com/apache/hadoop/common/

# 下载hadoop-3.3.6.tar.gz并解压到指定目录,如/data0/hadoop/hadoop-3.3.6
mkdir -p /data0/hadoop/
tar -zxvf hadoop-3.3.6.tar.gz

# 创建hadoop数据存放目录
mkdir -p /data1/hadoop/repo

8.修改配置

8.1.进入配置文件目录

sh 复制代码

cd /data0/hadoop/hadoop-3.3.6/etc/hadoop

8.2.修改hadoop-env.sh配置文件

sh 复制代码

# 编辑文件
vi hadoop-env.sh

# 添加
export JAVA_HOME=/data0/java/jdk1.8.0_361
export HADOOP_LOG_DIR=/data1/hadoop/repo/logs/hadoop

# /data0/java/jdk1.8.0_291为jdk安装目录
# /data1/hadoop/repo为hadoop数据存放目录

8.3.修改core-site.xml配置文件

sh 复制代码

# 编辑文件
vi core-site.xml

# 修改configuration节点配置
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-all:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data1/hadoop/repo</value>
    </property>
</configuration>

# hadoop-all为主节点主机名
# 9000为端口

8.4.修改hdfs-site.xml配置文件

sh 复制代码

# 编辑文件
vi hdfs-site.xml

# 修改configuration节点配置
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

# 1为数据副本个数

8.5.修改mapred-site.xml配置文件

sh 复制代码

# 编辑文件
vi mapred-site.xml

# 修改configuration节点配置
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8.6.修改yarn-site.xml配置文件

sh 复制代码

# 编辑文件
vi yarn-site.xml

# 修改configuration节点配置
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

9.修改hadoop启动/停止配置

9.1.进入启动脚本目录

sh 复制代码

cd /data0/hadoop/hadoop-3.3.6/sbin

9.2.修改dfs.sh的启动/停止命令

sh 复制代码

# 编辑文件
vi start-dfs.sh
vi stop-dfs.sh

# 都添加
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9.3.修改yarn.sh的启动/停止命令

sh 复制代码

# 编辑文件
vi start-yarn.sh
vi stop-yarn.sh

# 都添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

10.格式化hdfs

sh 复制代码

# 进入hadoop根目录
cd /data0/hadoop/hadoop-3.3.6

# 格式化
bin/hdfs namenode -format

11.启动/停止

sh 复制代码

# 进入hadoop根目录
cd /data0/hadoop/hadoop-3.3.6/sbin

# 启动
./start-all.sh

# 停止
./stop-all.sh

# 查看启动状态
jps

# 主节点启动[ResourceManager,NameNode,SecondaryNameNode,DataNode,NodeManager]

12.web查看状态

sh 复制代码

# 浏览器访问
10.0.0.120:9870
10.0.0.10:8088

13.配置环境变量

sh 复制代码

# 打开文件
vi ~/.bash_profile

# 添加环境变量
# HADOOP
export HADOOP_HOME=/data0/hadoop/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$PATH

#保存退出
:x

# 让配置马上生效
source ~/.bash_profile

Docker使用Oracle官方镜像安装(12C,18C,19C)

安装准备操作系统CentOS7_x64 已经安装了Docker环境需要检查是否有swap分区，如果没有请设置 Oracle官方dockerfiles下载 1.下载地址:https://github.com/oracle/docker-images 2.上传解压后打开docker-images-master\OracleDatabase\SingleInstance将dockerfiles文件夹上传到Linux的指定目录，如/data0/oracle 3.修改文件执行权限 sh 复制代码 chmod a+x *.sh && chmod a+x */*.sh Oracle镜...

2025-09-05

11283

MySQL数据库在高并发下的优化方案

1. 概述高并发场景下，数据库极易成为整个应用系统的瓶颈，导致响应变慢、超时甚至宕机。本方案旨在从多个层面（SQL、数据库配置、架构、硬件等）提供优化策略，以提升 MySQL 在高并发环境下的性能、稳定性和扩展性。 2. SQL 语句及索引优化 (最有效、成本最低) 2.1 避免慢查询使用 EXPLAIN：分析所有核心 SQL 的执行计划（EXPLAIN SELECT ...），重点关注以下字段： type：至少达到 range 级别，理想是 ref、eq_ref 或 const。避免 ALL（全表扫描）。 key：是否使用了正确的索引。 rows：预估扫描的行数，尽可能少。 Extra：...

2025-09-08

927

发表评论

评论列表

共 1 条评论

666

2022-04-13

6666

博主

2024-03-11

666

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。