Hadoop YARN学习之组件功能简述(3)
Hadoop YARN学习之组件功能简述(3)
1. YARN的三大组件功能简述:
- ResourceManager(RM)是集群的资源的仲裁者,
- 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。
- NodeManager,位于每个节点上,管理该节点上用户作业和工作流。
- ApplicationMaster,用户作业生命周期管理者。
- 是用户应用程序驻留的地方。
2. 三大组件构成了一个可扩展的、灵活的、高效的环境,来运行各种类型的大数据处理作业。
3. 组件功能协作简述
- ResourceManager动态的分配特定节点来运行应用程序。
- Container是绑定到特定集群节点的一组资源逻辑组合(如内存、核)
- 为了执行和跟踪这些资源分配,ResourceManager与运行在每个节点上的NodeManager进程交互。
- 基于可扩展性的需求,ResourceManager和NodeManager之间通过心跳来通信。
- NodeManager负责本地可以资源的监控,故障报告以及Container生命周期的管理(如杀死和启动作业)。ResourceManager依赖NodeManager来维护集群的全局视图。
4. YARN调度组件
-
YARN有一个可插拔的调度器组件,根据不同的使用场景和用户需求,管理员可以选择简单的FIFO(先进先出),Capacity或者Fair Share Schedule。
- FIFO先进先出
- Capacity,允许多个组安全地共享一个大规模Hadoop集群。
- Fair,公平调度器是将资源公平分配给应用的方法,使得所用在平均情况下随着时间的到相等的份额。
- YARN Fair的新特性支持层次化队列。
- YARN默认为Capacity调度组件
5. 在YARN中,MapReduce不再是工作流中的一部分,因为它只是一种ApplicationMaster控制的应用程序框架,在YARN环境下,其他框架已经可以使用或者正在开发中。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hadoop YARN学习之核心概念(2)
Hadoop YARN学习之核心概念(2) 1. Hadoop 2.X YARN引入的新服务 1.1 新的ResourceManager纯碎作为资源调度器,是集群资源的唯一仲裁者; 1.2 用户应用程序(包括MapReduce作业),通过一个新的ApplicationMaster组件请求一定的资源,与Resource协商; 1.3 从而在集群中创建该应用的Container; 2. YARN的引入不会影响Hadoop运行MapReduce作业的能力;YARN提供了使用非MapReduce框架的新能力,为Hadoop生态系统增加了很多新的特性(如SPARK)。 3. YARN三大组件 ResourceManager 是纯粹的资源调度器,它根据应用程序的资源请求严格限制系统的可以资源。 ApplicationMaster 实际上是一个特定框架库的一个实例,负责与ResourceManager协商资源,并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。 Container Container是一种资源分配形式,是ResourceManager为Resourc...
- 下一篇
Hadoop YARN学习之监控集群监控Nagios(4)
doop YARN学习之监控集群监控Nagios(4) 1. Nagios是一个流行的开源监控工具,可以用来监控Hadoop集群。 2. 监控基本的Hadoop服务 调试好脚本后命名为chek_resource_manager.sh,并把它放在Nagios的插件目录中。 加载Nagios插件向hadoop-cluster.cfg添加如下信息 define command{ command_name check_resource_manager command_line /usr/lib64/nagios/plugins/check_resource_manager.sh } 使用hadoop-cluster.cfg文件中的新命令来定义一个Nagios服务 define service{ use local-service host_name yarn1.apps.hdp service_description ResourceManager check_command check_resource_manager } 为每个其他的服务也定义一个service和command条目 要使用...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果