EMR集群上capacity scheduler的ACL实现-低调大师

EMR集群上capacity scheduler的ACL实现

2017-05-11 727

背景

前面一篇介绍了yarn的capacity scheduler原理，实验了在EMR集群上使用capacity scheduler对集群资源的隔离和quota的限制。本文会介绍EMR集群上capacity scheduler的ACL实现。

为什么要做这个？前面给集群分配的资源分配了多个队列，以及每个队列的资源配比和作业调度的优先级。如果多租户里面的每个都按照约定，各自往自己对应的队列里面提交作业，自然没有问题。但是如果用户熟悉capacity scheduler的操作和原理，也是可以占用别组的资源队列。所有有了capacity scheduler的ACL设置。

关键参数

yarn.scheduler.capacity.queue-mappings
- 指定用户和queue的映射关系。默认用户上来，不用指定queue参数就能直接到对应的queu

微信关注我们

原文链接：https://yq.aliyun.com/articles/80641

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

风向标：数据库技术趋势解读

目录： DB-Engines数据库排行榜解读 SQL、NoSQL及NewSQL的发展历程感谢名单 DB-Engines数据库排行榜解读以下取自2016年12月的数据，具体信息可参考http://db-engines.com/en/ranking/ DB-Engines排名主要根据五个因素来进行：Google以及Bing搜索引擎的关键字搜索数量、Google Trends的搜索数量、Indeed网站中的职位搜索量、LinkedIn中提到关键字的个人资料数以及Stackoverflow上相关的问题和关注者数量，数据仅供参考。从最新一期榜单来看，数据库产品前三甲非常稳固，与后面差距依然很大。传统商业数据库的代表Oracle，依旧独占鳌头，但也受到了其他数据库的逐步蚕食。很多人预计在明年Q1，MySQL将超过Oracle占领首位。MySQL作为开源数据库的代表，持续在增长，但随着市场稳定已逐步趋于饱和，增长趋缓。 SQL Server作为另类代表，增长喜人。其不久前宣布的未来将支持Linux版本的消息，应该起到了不少提振作用，我们也很期待它在未来的表现。前十名中以Po...

2017-05-12

527

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 MaxCompute 和大数据开发套件过程中遇到的常见问题，供大家参考~ Q：在大数据开发套件—运维中心中查看任务，显示全部失败？ A：因为任务中配置了上游依赖，上游任务跑失败了，导致下游任务无法继续。 Q： ADS 支持 IF、IFNULL 关键字吗？A：不支持，您可以用 case when 、coalesce 代替，另外，若是含 group by的 SQL 语句中必须有聚合函数来匹配 group by 。 Q：华北 1 的 RDS 同步到华东 2 的 MaxCompute 会产生公网费用吗？A：会产生费用，您可以参见：服务连接对收费详情进行了解。 Q： ADS 中什么函数可以替换 Mysql 中的 TIMESTAMPD

2017-05-14

651

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。