Hadoop YARN学习之核心概念（2）-低调大师

Hadoop YARN学习之核心概念（2）

2016-01-20 627

Hadoop YARN学习之核心概念（2）

1. Hadoop 2.X YARN引入的新服务

1.1 新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者；
1.2 用户应用程序（包括MapReduce作业），通过一个新的ApplicationMaster组件请求一定的资源，与Resource协商；
1.3 从而在集群中创建该应用的Container；

2. YARN的引入不会影响Hadoop运行MapReduce作业的能力；YARN提供了使用非MapReduce框架的新能力，为Hadoop生态系统增加了很多新的特性（如SPARK）。

3. YARN三大组件

ResourceManager
- 是纯粹的资源调度器，它根据应用程序的资源请求严格限制系统的可以资源。
ApplicationMaster
- 实际上是一个特定框架库的一个实例，负责与ResourceManager协商资源，并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。
Container
- Container是一种资源分配形式，是ResourceManager为ResourceRequest成功分配资源的结果。
- Container为应用程序授予在特定主机上使用资源（如内存，CPU）的权利。

4. 资源模型

4.1 YARN被设计成可以允许应用程序（通过ApplicationMaster）以共享的，安全的以及多用户租户的方式使用集群的资源。
4.2  Scheduler会分配一个Container来响应资源需求，用于满足由ApplicationMaster在ResourceRequest中提出的要求：

    <资源名称,优先级,资源需求,Container数>

微信关注我们

原文链接：https://yq.aliyun.com/articles/70649

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop YARN学习之Hadoop框架演进历史简述

Hadoop YARN学习之Hadoop框架演进历史简述（1） 1. Hadoop在其发展的过程中经历了多个阶段：阶段0：Ad Hoc集群时代标志着Hadoop的起源，集群以Ad Hoc、单用户方式建立阶段1：Hadoop on Demand（HOD）是进化过程中的下一个阶段，以一种通用系统的形式，在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例。阶段2：共享计算集群的黎明始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce集群。阶段3：YARN的出现用以解决以往架构的需求和缺陷 2. YARN的特性：可扩展性可维护性多租户位置感知高集群使用率安全和可审计的操作可靠性和可用性对编程模型多样的支持灵活的资源模型向后兼容

2016-01-21

777

Hadoop YARN学习之组件功能简述（3） 1. YARN的三大组件功能简述： ResourceManager（RM）是集群的资源的仲裁者，它有两部分：一个可插拔的调度器和一个ApplicationManager，用于管理集群中的用户作业。 NodeManager，位于每个节点上，管理该节点上用户作业和工作流。 ApplicationMaster，用户作业生命周期管理者。是用户应用程序驻留的地方。 2. 三大组件构成了一个可扩展的、灵活的、高效的环境，来运行各种类型的大数据处理作业。 3. 组件功能协作简述 ResourceManager动态的分配特定节点来运行应用程序。 Container是绑定到特定集群节点的一组资源逻辑组合（如内存、核）为了执行和跟踪这些资源分配，ResourceManager与运行在每个节点上的NodeManager进程交互。基于可扩展性的需求，ResourceManager和NodeManager之间通过心跳来通信。 NodeManager负责本地可以资源的监控，故障报告以及Container生命周期的管理（如杀死和启动作业）。ResourceMa...

2016-01-21

676

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。