搭建部署Hadoop 之Yarn-低调大师

搭建部署Hadoop 之Yarn

2017-11-22 591

Yarn 集群资源管理系统

Yarn 角色及概念

•Yarn 是 Hadoop 的一个通用的资源管理系统

• Yarn 角色

– Resourcemanager

– Nodemanager

– ApplicationMaster

– Container

– Client

• ResourceManager

– 处理客户端请求

– 启动 / 监控 ApplicationMaster

– 监控 NodeManager

– 资源分配与调度

• NodeManager

– 单个节点上的资源管理

– 处理来自 ResourceManager 的命令

– 处理来自 ApplicationMaster 的命令

• Container

– 对任务运行行环境的抽象,封装了 CPU 、内存等

– 多维资源以及环境变量、启动命令等任务运行相关的信息资源分配与调度

• ApplicationMaster

– 数据切分

– 为应用程序申请资源,并分配给内部任务

– 任务监控与容错

• Client

– 用户与 YARN 交互的客户端程序

– 提交应用程序、监控应用程序状态,杀死应用程序等

Yarn 结构

• YARN 的核心思想

• 将 JobTracker 和 TaskTacker 进行分离,它由下面几大构成组件:

– ResourceManager 一个全局的资源管理器

– NodeManager 每个节点(RM)代理

– ApplicationMaster 表示每个应用

– 每一个 ApplicationMaster 有多个 Container 在NodeManager 上运行

系统规划

主机角色软件

192.168.4.1 master Resource Manager YARN

192.168.4.2 node1 Node Manager YARN

192.168.4.3 node2 Node Manager YARN

192.168.4.4 node3 Node Manager YARN

Yarn 安装与配置

具体实验准备可以参考 http://blog.51cto.com/13558754/2066708

# ssh 192.168.4.1

# cd /usr/local/hadoop/

# cd etc/hadoop/

# cp mapred-site.xml.template mapred-site.xml

# vim mapred-site.xml

<name>mapreduce.framework.name</name>

<value>yarn</value> // 配置使用yarn 资源管理系统

</property>

</configuration>

# vim yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>master</value> //配置 Resource Manager 角色

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value> // 一个 java 的类真实环境与开发人员沟通

</property>

</configuration>

配置完成以后

# for i in node{1..3} //将配置文件同步到所有主机

> do

> rsync -azSH --delete /usr/local/hadoop/etc/hadoop/ ${i}:/usr/local/hadoop/etc/hadoop -e 'ssh'

> done

# cd /usr/local/hadoop/

启动 yarn 服务

# ./sbin/start-yarn.sh

在所有主机上执行 jps, 查看是否启动成功

# for i in master node{1..3}

> do

> echo ${i}

> ssh ${i} "jps"

> done

master

3312 Jps

3005 ResourceManager

node1

3284 Jps

3162 NodeManager

node2

2882 NodeManager

3004 Jps

node3

2961 Jps

2831 NodeManager

显示所有可用的计算节点

# ./bin/yarn node -list

18/01/31 06:41:56 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:3

Node-Id Node-StateNode-Http-AddressNumber-of-Running-Containers

node3:46007 RUNNING node3:8042 0

node2:54895 RUNNING node2:8042 0

node1:51087 RUNNING node1:8042

resourcemanager

nodemangager

验证 Yarn

# bin/hadoop fs -ls /input

Found 3 items

-rw-r--r-- 2 root supergroup 84854 2018-01-29 21:37 /input/LICENSE.txt

-rw-r--r-- 2 root supergroup 14978 2018-01-29 21:37 /input/NOTICE.txt

-rw-r--r-- 2 root supergroup 1366 2018-01-29 21:37 /input/README.txt

使用yarn 统计样本文件中单词出现频率

# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount hdfs://master:9000/input hdfs://master:9000/output

查看结果

# ./bin/hadoop fs -cat hdfs://master:9000/output/*

Yarn 节点管理

[root@master ~] # cat /etc/hosts

192.168.4.1master

192.168.4.2 node1

192.168.4.3 node2

192.168.4.4 node3

192.168.4.5 newnode

[root@newnode ~]# rsync -azSH --delete master:/usr/local/hadoop /usr/local

[root@master hadoop]# ./sbin/start-yarn.sh

添加节点

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:06:57 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:3

Node-Id Node-State Node-Http-Address Number-of-Running-Containers

node1:33596 RUNNING node1:8042 0

node2:53475 RUNNING node2:8042 0

node3:34736 RUNNING node3:8042 0

[root@newnode hadoop]# sbin/yarn-daemon.sh start nodemanager

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:07:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:4

Node-Id Node-State Node-Http-Address Number-of-Running-Containers

newnode:39690 RUNNING newnode:8042 0

node1:33596 RUNNING node1:8042 0

node2:53475 RUNNING node2:8042 0

node3:34736 RUNNING node3:8042 0

删除节点

[root@newnode hadoop]# sbin/yarn-daemon.sh stop nodemanager

//不会立即删除

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:11:31 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:4

Node-Id Node-State Node-Http-Address Number-of-Running-Containers

newnode:39690 RUNNING newnode:8042 0

node1:33596 RUNNING node1:8042 0

node2:53475 RUNNING node2:8042 0

node3:34736 RUNNING node3:8042 0

//需要重新启动服务

[root@master hadoop]# ./sbin/stop-yarn.sh

[root@master hadoop]# ./sbin/start-yarn.sh

[root@master hadoop]# ./bin/yarn node -list

18/01/28 21:12:46 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032

Total Nodes:3

Node-Id Node-State Node-Http-Address Number-of-Running-Containers

node1:42010 RUNNING node1:8042 0

node2:55043 RUNNING node2:8042 0

node3:38256 RUNNING node3:8042 0

本文转自 Xuenqlve 51CTO博客，原文链接：http://blog.51cto.com/13558754/2067497，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/493126

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HDFS进阶应用配置 NFS 网关

HDFS进阶应用配置NFS 网关 • NFS 网关用途 – 1.用户可以通过操作系统兼容的本地NFSv3客户端来阅览HDFS文件系统 – 2.用户可以从HDFS文件系统下载文档到本地文件系统 – 3.用户可以通过挂载点直接流化数据。支持文件附加,但是不支持随机写 – NFS 网关支持NFSv3和允许HDFS 作为客户端文件系统的一部分被挂载 • 特性与注意事项 – 不支持随机写 – 在非安全模式,运行网关的用户是代理用户 – 在安全模式时,Kerberos keytab中的用户是代理用户 – AIX NFS有一些知道的问题,不能让默认的HDFS NFS网关正常工作,如果想在 AIX 访问 NFS 网关需要配置下面的参数 <property> <name>nfs.aix.compatibility.mode.enabled</name> <value>true</value> </property> • 特性与注意事项 – HDFS超级用户是与NameNode进程本身具有相同标识的用户,超级用户可以执行任何操作,因...

2017-11-23

590

Hadoop的运行模式单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑；伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试的功能，允许你检查NameNode，DataNode，Jobtracker，Tasktracker等模拟节点的运行情况；单机模式和伪分布式模式均用于开发和调试的目的，真实Hadoop集群的运行采用的是完全分布式模式单机模式安装步骤一个干净的linux基础环境（重要，这个环境如果有问题后续就全是问题了）为了方便大家我已经安装好了一个，大家只需下载导入到vm里即可使用。下载地址：关注公众号【测试帮日记】对话框里回复“linux”或者加入QQ群522720170。链接：https://pan.baidu.com/s/1qXRjaK8 密码：xjfk 关闭防火墙（适用于centos7，低版本不适用）分别执行如下两条命令： systemctl stop firewalld.service system...

2017-11-23

474

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。