首页 文章 精选 留言 我的

精选列表

搜索[队列],共9229篇文章
优秀的个人博客,低调大师

yarn空队列crash bug

最近线上的rm crash了一次,查看日志,发现有如下报错: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 2015 - 01 - 05 18 : 00 : 11 , 523 ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:Request for appInfoofunknownattemptappattempt_1418702129929_2281200_000001 2015 - 01 - 05 18 : 00 : 11 , 524 ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:Request for appInfoofunknownattemptappattempt_1418702129929_2281200_000001 2015 - 01 - 05 18 : 00 : 11 , 526 ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:Request for appInfoofunknownattemptappattempt_1418702129929_2281200_000001 2015 - 01 - 05 18 : 00 : 11 , 527 FATALorg.apache.hadoop.yarn.server.resourcemanager.ResourceManager:ErrorinhandlingeventtypeAPP_ADDEDtothescheduler org.apache.hadoop.metrics2.MetricsException:MetricssourceQueueMetrics,q0=rootalreadyexists! atorg.apache.hadoop.metrics2.lib.DefaultMetricsSystem.newSourceName(DefaultMetricsSystem.java: 126 ) atorg.apache.hadoop.metrics2.lib.DefaultMetricsSystem.sourceName(DefaultMetricsSystem.java: 107 ) atorg.apache.hadoop.metrics2.impl.MetricsSystemImpl.register(MetricsSystemImpl.java: 217 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSQueueMetrics.forQueue(FSQueueMetrics.java: 94 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSQueue.<init>(FSQueue.java: 61 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSLeafQueue.<init>(FSLeafQueue.java: 59 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.QueueManager.createLeafQueue(QueueManager.java: 199 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.QueueManager.getLeafQueue(QueueManager.java: 144 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.addApplication(FairScheduler.java: 581 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.handle(FairScheduler.java: 998 ) atorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.handle(FairScheduler.java: 108 ) atorg.apache.hadoop.yarn.server.resourcemanager.ResourceManager$SchedulerEventDispatcher$EventProcessor.run(ResourceManager.java: 378 ) atjava.lang.Thread.run(Thread.java: 662 ) 这其实是yarn的一个bug,在提交的job queue为空时会触发这个bug,导致rm抛出异常而退出, bug id:https://issues.apache.org/jira/browse/YARN-2863 可以通过如下命令重现: 1 yarnjarhadoop-mapreduce-examples- 2.0 . 0 -cdh4. 6.0 .jarpi-Dmapreduce.job.queuename= 20 10 在bug 描述中可以看到通过设置yarn.scheduler.fair.allow-undeclared-pools为false是可以修复这个问题的,但是在cdh4.6.0中是没有这个配置的,可以通过 https://issues.apache.org/jira/browse/YARN-1213 增加一个配置。在queue为空时会使用default的queue。 这个bug在cdh5.2.0已经fix 在5.2.0的yarn中增加了下面两个如下配置 1 2 yarn.scheduler.fair.allow-undeclared-pools //是否允许有不存在的queue,默认为true yarn.scheduler.fair.user-as- default -queue //当queue不存在时,是否使用用户名来代替default,默认为true 本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1602231,如需转载请自行联系原作者

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册