YARN发展和架构组件功能详解-低调大师

YARN发展和架构组件功能详解

2018-02-08 532

YARN的架构

YARN业务架构图

ResourceManager

全局资源管理器，整个集群只有一个，负责集群资源的统一管理和调动分配。（可以理解为肯德基里面唯一一个收银员，处理客户请求，启用客户下单处理的厨师，并且监控厨师，为订单分配厨房资源）

处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源分配与调度

The ResourceManager has two main components: Scheduler and ApplicationsManager.
ResourceManager有两个主要组件：Scheduler 和ApplicationsManager.

Scheduler介绍

Scheduler负责为各种运行中的应用程序分配资源，这些应用程序通常受到容量、队列等的限制。Scheduler是纯粹的调度程序，因为它不为应用程序执行状态监视或跟踪。此外，它也不能保证由于应用程序故障或硬件故障而重新启动失败的任务。Scheduler根据应用程序的资源需求执行其调度功能；它是基于资源容器(Container)的抽象概念执行的，该概念包含内存、CPU、磁盘、网络等元素。在第一个版本中，只支持内存。

ApplicationsManager介绍

The ApplicationsManager is responsible for accepting job-submissions, negotiating the first container for executing the application specific ApplicationMaster and provides the service for restarting the ApplicationMaster container on failure.
ApplicationsManager负责接受作业提交，协商执行特定于应用程序的ApplicationMaster的第一个容器，并为失败时重新启动ApplicationMaster容器提供服务。

NodeManager介绍

整个集群有多个，负责点节点的资源的管理和使用。

单个节点上的资源管理
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
NodeManager管理抽象容器，这些容器代表可供一个特定应用程序使用节点资源。
并向ResourceManager/Scheduler报告的每台机器框架代理。

The NodeManager is the per-machine framework agent who is responsible for containers, monitoring their resource usage (cpu, memory, disk, network) and reporting the same to the ResourceManager/Scheduler.
NodeManager是负责容器、监视它们的资源使用情况(CPU、内存、磁盘、网络)并向ResourceManager/Scheduler报告的每台机器框架代理。

ApplicationMaster

管理一个在yarn内运行的应用程序的每个实例（hive，spark）

数据切分
为应用程序申请资源，并分配给内部任务
任务监控与容错

负责协调来自ResourceManager的资源，通过nodeManager监视容器的执行和资源使用（cpu、内存等资源分配）

container

image.png

yarn资源管理

image.png

说明：yarn主要工作是资源调度和资源隔离。他是一个部门经理，可以在不同的项目组调度任何人员，而各个资源（人员）是各个项目组的。部门经理只是协调资源，任务下达，而项目组长需要根据任务要求提供相应的资源（人员），项目组长保证这个人只处理这个任务。这个人员不会共享。

类比：ResourceManager表示部门经理、nodemanager表示项目组长、container表示组员、applicationMaster表示项目经理

微信关注我们

原文链接：https://yq.aliyun.com/articles/510271

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于terracotta在tomcat集群中做session共享的问题

手头上的一个项目“陕西省专业技术人员继续教育学习与管理平台”是服务于全陕西省130万专技人员的高并发且事务逻辑较复杂的一个系统，不管是编码上还是系统架构部署上都具有一定的挑战性。在考虑了现有设备以及系统负载的基础上，整个系统架构采用了六台服务器，分别是：WEB门户服务器（WEB门户+Oracle数据库）、学习管理平台服务器、系统核心数据库、资源下载服务器、在线点播服务器、数据库备份服务器。系统运行了数月，WEB门户采用的apache+mod_jk+memcached+4tomcat能够正常应付目前的访问。管理学习系统虽然由于一些在线课程还未上线，最大的并发还未开始，但目前课程文件的上传、人员的表单录入等对服务器的造成的负载经常使服务器响应缓慢甚至不响应。考虑到开始采用的nginx+4tomcat+ip_hash，ip_hash本身策略的缺陷使负载不能很好地均衡，于是使用memcached做集群的session共享。此时出现了一个到现在还让我搞不清楚的现象：系统session中存入一些timestamp的Date对象，读取的时候，竟然会读成UNIX原始时间戳。一直没办法解决这个问题，只...

2018-02-09

560

版本和兼容性：在开发CUDA应用程序时，开发人员应该注意以下两个版本号：计算能力，描述计算设备的一般规格和功能（请参阅计算能力）以及描述CUDA所支持功能的CUDA驱动程序API版本驱动程序API和运行时。驱动程序API的版本在驱动程序头文件中定义为CUDA_VERSION。它允许开发人员检查他们的应用程序是否需要比当前安装的更新的设备驱动程序。这一点很重要，因为驱动程序API是向后兼容的，这意味着针对特定版本的驱动程序API编译的应用程序，插件和库（包括C运行时）将继续在随后的设备驱动程序版本上工作，如图 11.驱动程序API不是向前兼容的，这意味着针对特定版本的驱动程序API编译的应用程序，插件和库（包括C运行时）将不适用于以前版本的设备驱动程序。需要注意的是，受支持的版本的混合和匹配有一些限制：由于在系统上一次只能安装一个版本的CUDA驱动程序，因此安装的驱动程序必须与驱动程序，插件或必须运行的库的最大驱动程序API版本相同或更高该系统已建成。应用程序使用的所有插件和库必须使用相同版本的CUDA Runtime，除非它们静态链接到Runtime，在这种情况下，多个版本...

2018-02-09

645

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。