Yarn 弹性队列测试-低调大师

Yarn 弹性队列测试

2020-11-02 565

Yarn 调度器中的 Capacity Scheduler 和 Fair Scheduler 都支持弹性扩容, 现对 Fari Scheduler 进行弹性扩容测试。

Yarn 动态资源池配置配置如下：

一、不限制最大资源数

1、yarn配置

2、测试

$ sudo -u hdfs  hadoop jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.queuename=test 1000 100
WARNING: Use "yarn jar" to launch YARN applications.
Number of Maps  = 1000
Samples per Map = 100
Wrote input for Map #0
......
Wrote input for Map #999
Starting Job
20/11/02 18:57:41 INFO mapreduce.Job: Running job: job_1604307167678_0003
20/11/02 18:57:49 INFO mapreduce.Job: Job job_1604307167678_0003 running in uber mode : false
20/11/02 18:57:49 INFO mapreduce.Job:  map 0% reduce 0%
20/11/02 18:57:59 INFO mapreduce.Job:  map 5% reduce 0%
......
20/11/02 18:59:07 INFO mapreduce.Job:  map 100% reduce 0%
20/11/02 18:59:09 INFO mapreduce.Job:  map 100% reduce 100%
20/11/02 18:59:09 INFO mapreduce.Job: Job job_1604307167678_0003 completed successfully
20/11/02 18:59:10 INFO mapreduce.Job: Counters: 54
Job Finished in 89.816 seconds
Estimated value of Pi is 3.14120000000000000000

3、结果

从队列test可以看出，在不限制队列最大资源的情况下，虚线框可以看出队列test可以弹性扩容到最大100%与队列root相同。绿色部分表示队列实际使用的资源。

二、限制最大资源数为50%

1、yarn配置

2、测试

$ sudo -u hdfs  hadoop jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.queuename=test 1000 100
WARNING: Use "yarn jar" to launch YARN applications.
Number of Maps  = 1000
Samples per Map = 100
Wrote input for Map #0
......
Wrote input for Map #999
Starting Job
20/11/02 18:57:41 INFO mapreduce.Job: Running job: job_1604307167678_0005
20/11/02 18:57:49 INFO mapreduce.Job: Job job_1604307167678_0005 running in uber mode : false
20/11/02 18:57:49 INFO mapreduce.Job:  map 0% reduce 0%
20/11/02 18:57:59 INFO mapreduce.Job:  map 5% reduce 0%
......
20/11/02 18:59:07 INFO mapreduce.Job:  map 100% reduce 0%
20/11/02 18:59:09 INFO mapreduce.Job:  map 100% reduce 100%
20/11/02 18:59:09 INFO mapreduce.Job: Job job_1604307167678_0003 completed successfully
20/11/02 18:59:10 INFO mapreduce.Job: Counters: 54
Job Finished in 107.728 seconds
Estimated value of Pi is 3.14120000000000000000

从队列test可以看出，在限制队列最大资源为50%的情况下，虚线框可以看出队列test可以弹性扩容到总容量的50%。绿色部分表示队列实际使用的资源。

三、Fair Share 与最大资源数相同为10%

1、配置

2、测试

$ sudo -u hdfs  hadoop jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.queuename=test 1000 100
WARNING: Use "yarn jar" to launch YARN applications.
Number of Maps  = 1000
Samples per Map = 100
Wrote input for Map #0
......
Wrote input for Map #999
Starting Job
20/11/02 18:57:41 INFO mapreduce.Job: Running job: job_1604307167678_0004
20/11/02 18:57:49 INFO mapreduce.Job: Job job_1604307167678_0004 running in uber mode : false
20/11/02 18:57:49 INFO mapreduce.Job:  map 0% reduce 0%
20/11/02 18:57:59 INFO mapreduce.Job:  map 5% reduce 0%
......
20/11/02 18:59:07 INFO mapreduce.Job:  map 100% reduce 0%
20/11/02 18:59:09 INFO mapreduce.Job:  map 100% reduce 100%
20/11/02 18:59:09 INFO mapreduce.Job: Job job_1604307167678_0003 completed successfully
20/11/02 18:59:10 INFO mapreduce.Job: Counters: 54
Job Finished in 456.952 seconds
Estimated value of Pi is 3.14120000000000000000

从队列test可以看出，当 fair share 与最大资源数分配相等时，虚线框消失，队列最大只能到fair share所分配的资源。绿色部分表示队列实际使用的资源。

四、结论

当 Fair Share 与最大资源数相等时，弹性扩容性质消失。

本文分享自微信公众号 - 大数据AI（songxt1990）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/freeshow/blog/4700693

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从勾股定理到余弦相似度-程序员的数学基础

大部分程序员由于理工科的背景，有一些高数、线性代数、概率论与数理统计的数学基础。所以当机器学习的热潮来临的时候，都跃跃欲试，对机器学习的算法以及背后的数学思想有比较强烈的探索欲望。本文的作者就是其中的一位。然而实践的过程中，又发现数学知识的理解深度有些欠缺，在理解一些公式背后的意义时，有些力不从心的感觉。因此梳理了一些数学上的知识盲点，理顺自己的知识脉络，顺便分享给有需要的人。本文主要讲解余弦相似度的相关知识点。相似度计算用途相当广泛，是搜索引擎、推荐引擎、分类聚类等业务场景的核心点。为了理解清楚余弦相似度的来龙去脉，我将会从最简单的初中数学入手，逐步推导出余弦公式。然后基于余弦公式串讲一些实践的例子。一、业务背景通常我们日常开发中，可能会遇到如下的业务场景。精准营销，图像处理，搜索引擎这三个看似风马牛不相及的业务场景，其实面临一个共同的问题就是相似度的计算。例如精准营销中的人群扩量涉及用户相似度的计算；图像分类问题涉及图像相似度的计算，搜索引擎涉及查询词和文档的相似度计算。相似度计算中，可能由于《数学之美》的影响，大家最熟悉的应该是余弦相似度。那么余弦相似度是怎么推导出来...

2020-11-03

519

引子 2099年，程序员小帅已经35岁了，却还是单身狗一枚。虽然说这个时代单身一辈子的人越来越多，家里人也不会催你结婚，但是小帅的思想还是比较传统，渴望着被爱。人工智能技术在本世纪中期飞速发展，现在的机器人智力已经和人类相当，人与机器人共处的社会已经到来。创新基因公司最近推出一款划时代的产品：机器人女友。通过3D人工智能打印技术，能够随时随地打印出实体美女机器人，引起了社会轰动，当然最激动的还是宅男们，其中自然也包括小帅。为了吸引顾客，创新基因公司推出了一项服务，可以把机器和材料运到客户家里，让客户在家自行打印机器人女友，看着女友“诞生”的过程。是不是很兴奋？小帅花了多年的积蓄，购买了最新款的女友机器人。很快，快递员送来了几大箱东西，其中包括打印机器，机器人制作材料，和一台控制电脑。电脑里预装了打印程序，通过电脑可以控制打印机器“制造对象”，程序代码如下： public class GirlFriend { private String name; public GirlFriend(String name) { this.name = name; System.ou...

2020-11-02

481

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。