首页 文章 精选 留言 我的

精选列表

搜索[消息队列 CKafka 版],共10000篇文章
优秀的个人博客,低调大师

yarn空队列crash bug

最近线上的rm crash了一次,查看日志,发现有如下报错: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 2015 - 01 - 05 18 : 00 : 11 , 523 ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:Request for appInfoofunknownattemptappattempt_1418702129929_2281200_000001 2015 - 01 - 05 18 : 00 : 11 , 524 ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:Request for appInfoofunknownattemptappattempt_1418702129929_2281200_000001 2015 - 01 - 05 18 : 00 : 11 , 526 ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:Request for appInfoofunknownattemptappattempt_1418702129929_2281200_000001 2015 - 01 - 05 18 : 00 : 11 , 527 FATALorg.apache.hadoop.yarn.server.resourcemanager.ResourceManager:ErrorinhandlingeventtypeAPP_ADDEDtothescheduler org.apache.hadoop.metrics2.MetricsException:MetricssourceQueueMetrics,q0=rootalreadyexists! atorg.apache.hadoop.metrics2.lib.DefaultMetricsSystem.newSourceName(DefaultMetricsSystem.java: 126 ) atorg.apache.hadoop.metrics2.lib.DefaultMetricsSystem.sourceName(DefaultMetricsSystem.java: 107 ) atorg.apache.hadoop.metrics2.impl.MetricsSystemImpl.register(MetricsSystemImpl.java: 217 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSQueueMetrics.forQueue(FSQueueMetrics.java: 94 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSQueue.<init>(FSQueue.java: 61 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSLeafQueue.<init>(FSLeafQueue.java: 59 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.QueueManager.createLeafQueue(QueueManager.java: 199 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.QueueManager.getLeafQueue(QueueManager.java: 144 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.addApplication(FairScheduler.java: 581 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.handle(FairScheduler.java: 998 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.handle(FairScheduler.java: 108 ) atorg.apache.hadoop.yarn.server.resourcemanager.ResourceManager$SchedulerEventDispatcher$EventProcessor.run(ResourceManager.java: 378 ) atjava.lang.Thread.run(Thread.java: 662 ) 这其实是yarn的一个bug,在提交的job queue为空时会触发这个bug,导致rm抛出异常而退出, bug id:https://issues.apache.org/jira/browse/YARN-2863 可以通过如下命令重现: 1 yarnjarhadoop-mapreduce-examples- 2.0 . 0 -cdh4. 6.0 .jarpi-Dmapreduce.job.queuename= 20 10 在bug 描述中可以看到通过设置yarn.scheduler.fair.allow-undeclared-pools为false是可以修复这个问题的,但是在cdh4.6.0中是没有这个配置的,可以通过 https://issues.apache.org/jira/browse/YARN-1213 增加一个配置。在queue为空时会使用default的queue。 这个bug在cdh5.2.0已经fix 在5.2.0的yarn中增加了下面两个如下配置 1 2 yarn.scheduler.fair.allow-undeclared-pools //是否允许有不存在的queue,默认为true yarn.scheduler.fair.user-as- default -queue //当queue不存在时,是否使用用户名来代替default,默认为true 本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1602231,如需转载请自行联系原作者

优秀的个人博客,低调大师

yarn划分队列示例

修改Yarn服务的配置,修改Capacity Scheduler配置项如下: 修改部分: yarn.scheduler.capacity.root.default.capacity=60 yarn.scheduler.capacity.root.default.maximum-capacity=60 yarn.scheduler.capacity.root.queues=default,dev 新增部分: yarn.scheduler.capacity.root.dev.capacity=40 yarn.scheduler.capacity.root.dev.maximum-capacity=40 yarn.scheduler.capacity.root.dev.state=RUNNING yarn.scheduler.capacity.queue-mappings=u:etl:dev,u:ETL:dev,u:gotop:dev,u:hive:default,g:hadoop:dev,g:hdfs:dev yarn.scheduler.capacity.queue-mappings-override.enable=true yarn.scheduler.capacity.root.dev.acl_administer_jobs= yarn.scheduler.capacity.root.dev.acl_submit_applications= 本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/2049794,如需转载请自行联系原作者

资源下载

更多资源
Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册