EMR集群上capacity scheduler的ACL实现-低调大师

EMR集群上capacity scheduler的ACL实现

2017-05-11 709 89

背景

前面一篇介绍了yarn的capacity scheduler原理，实验了在EMR集群上使用capacity scheduler对集群资源的隔离和quota的限制。本文会介绍EMR集群上capacity scheduler的ACL实现。

为什么要做这个？前面给集群分配的资源分配了多个队列，以及每个队列的资源配比和作业调度的优先级。如果多租户里面的每个都按照约定，各自往自己对应的队列里面提交作业，自然没有问题。但是如果用户熟悉capacity scheduler的操作和原理，也是可以占用别组的资源队列。所有有了capacity scheduler的ACL设置。

关键参数

yarn.scheduler.capacity.queue-mappings
- 指定用户和queue的映射关系。默认用户上来，不用指定queue参数就能直接到对应的queu

微信关注我们

原文链接：https://yq.aliyun.com/articles/80641

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-05-12 00:00:00

风向标：数据库技术趋势解读

目录： DB-Engines数据库排行榜解读 SQL、NoSQL及NewSQL的发展历程感谢名单 DB-Engines数据库排行榜解读以下取自2016年12月的数据，具体信息可参考http://db-engines.com/en/ranking/ DB-Engines排名主要根据五个因素来进行：Google以及Bing搜索引擎的关键字搜索数量、Google Trends的搜索数量、Indeed网站中的职位搜索量、LinkedIn中提到关键字的个人资料数以及Stackoverflow上相关的问题和关注者数量，数据仅供参考。从最新一期榜单来看，数据库产品前三甲非常稳固，与后面差距依然很大。传统商业数据库的代表Oracle，依旧独占鳌头，但也受到了其他数据库的逐步蚕食。很多人预计在明年Q1，MySQL将超过Oracle占领首位。MySQL作为开源数据库的代表，持续在增长，但随着市场稳定已逐步趋于饱和，增长趋缓。 SQL Server作为另类代表，增长喜人。其不久前宣布的未来将支持Linux版本的消息，应该起到了不少提振作用，我们也很期待它在未来的表现。前十名中以Po...

504

2017-05-14 00:00:00

大数据开发—常见问题（3）

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 MaxCompute 和大数据开发套件过程中遇到的常见问题，供大家参考~ Q：在大数据开发套件—运维中心中查看任务，显示全部失败？ A：因为任务中配置了上游依赖，上游任务跑失败了，导致下游任务无法继续。 Q： ADS 支持 IF、IFNULL 关键字吗？A：不支持，您可以用 case when 、coalesce 代替，另外，若是含 group by的 SQL 语句中必须有聚合函数来匹配 group by 。 Q：华北 1 的 RDS 同步到华东 2 的 MaxCompute 会产生公网费用吗？A：会产生费用，您可以参见：服务连接对收费详情进行了解。 Q： ADS 中什么函数可以替换 Mysql 中的 TIMESTAMPD

631

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。