application master 持续org.apache.hadoop.ipc.Client: Retrying connect to...-低调大师

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to...

2017-11-22 523

一、问题现象

某一个nodemanager退出后，导致 application master中出现大量的如下日志，并且持续很长时间，application master才成功退出。

 
         2016-06-24 09:32:35,596 INFO [ContainerLauncher 
         #3] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:35,596 INFO [ContainerLauncher 
         #9] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:35,597 INFO [ContainerLauncher 
         #7] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,455 INFO [ContainerLauncher 
         #8] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,539 INFO [ContainerLauncher 
         #5] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,539 INFO [ContainerLauncher 
         #1] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,539 INFO [ContainerLauncher 
         #6] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,539 INFO [ContainerLauncher 
         #2] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,539 INFO [ContainerLauncher 
         #0] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,596 INFO [ContainerLauncher 
         #4] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,597 INFO [ContainerLauncher 
         #3] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 09:32:36,597 INFO [ContainerLauncher 
         #9] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         .......
        
         2016-06-24 12:57:52,328 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 8 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:57:53,339 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 9 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:04,357 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 0 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:05,367 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 1 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:06,378 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 2 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:07,392 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 3 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:08,399 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 4 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:09,408 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 5 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:10,417 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 6 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:11,425 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 7 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         2016-06-24 12:58:12,434 INFO [Thread-1835] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206
         /192
         .168.1.199:32951. Already tried 8 
         time
         (s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

1）dchadoop206上的nodemanager退出后（由于重启），导致application master持续的去连接之前nodemanager上的container。显然这些container是已经连接不上了。

2）最终经过非常长的时间大概3-4小时后，连接不上的异常才抛出，application master正常结束。

 
         <strong style=
         "font-family:'Source Sans Pro', 'Helvetica Neue', Helvetica, Arial, sans-serif;white-space:normal;color:rgb(51,51,51);font-size:1.4em;line-height:1.1;"
         ><span style=
         "font-family:'黑体', SimHei;font-size:16px;"
         >二、问题分析<
         /span
         ><
         /strong
         ><br>

这个问题主要涉及hadoop的rpc机制。首先看下面两个配置参数

 
         #定义client连接到nodemanager的最大超时时间,不是单次连接，而是经过多少时间连接不上nodemanager，则认为操作失败 
        
         <property> 
        
         <name>yarn.client.nodemanager-connect.max-wait-ms<
         /name
         > 
        
         <value>15*60*1000<
         /value
         > 
        
         <
         /property
         > 
        
         # 定义每次尝试去连接nodemanager的时间间隔 
        
         <property> 
        
         <name>yarn.client.nodemanager-connect.retry-interval-ms<
         /name
         > 
        
         <value>10*1000<
         /value
         > 
        
         <
         /property
         >

根据这两个参数的定义，ApplicationMaster经过15分钟仍然连不上nodemanager的container，会取消try connect。但观察的情况是Application Master 需要等大约30分钟，才取消try connect。主要原因在于hadoop 的rpc机制如下，首先ApplicationMaster 会根据上面的两个参数，构造一个RetryUpToMaximumCountWithFixedSleep的重连策略，这个重连策略会通过以下方式计算

MaximumCount：yarn.client.nodemanager-connect.max-wait-ms/yarn.client.nodemanager-connect.retry-interval-ms=90次

而每次的RPC请求中，Client也有自己的重连策略，就是类似这样的东东:

 
         2016-06-24 09:32:36,455 INFO [ContainerLauncher 
         #8] org.apache.hadoop.ipc.Client: Retrying connect to server: dchadoop206/192.168.1.199:32951. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
        
         由两个rpc参数控制，ipc.client.connect.max.retries=10和ipc.client.connect.retry.interval=1000ms控制

所以最终ApplicationMaster 放弃try connect的等待时间是：90*(10+10)=1800s

三、解决办法

1）在提交map-reduce/hive sql/hive server2等客户端机器修改yarn-site.xml的以下参数
2）hadoop命令行中通过-D设置该参数

 
         <property> 
        
         <name>yarn.client.nodemanager-connect.max-wait-ms<
         /name
         > 
        
         <value>180000<
         /value
         > 
        
         <
         /property
         >

这样总的等待时间就是6分钟。

注意事项

这个修改是不需要做任何重启yarn组件操作的，是一个客户端相关的操作！

本文转自 zouqingyun 51CTO博客，原文链接：http://blog.51cto.com/zouqingyun/1881294，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/460641

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive查询失败：no LazyObject for VOID

线上一个ETLJob不能跑了，报异常，这里为了说明问题简化表结构： 1 2 3 4 hive> desc void_t; OK x int None z void None 而 1 select * from void_t 确实会抛出异常： 1 14 / 03 / 0201 : 28 : 58 ERROR CliDriver: Failed with exceptionjava.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: Errorevaluating x 看到这个异常很疑惑，和x字段有什么关系呢，继续看详细日志： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: Error evaluating x atorg.apache.hadoop...

2017-11-23

701

hadoop2集群搭建过程

在这里我选用4台机器进行示范，各台机器的职责如下表格所示（说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高） Hadoop0 -> dchadoop206 Hadoop1 -> dchadoop207 Hadoop2 -> dchadoop208 Hadoop3 -> dchadoop209 1.搭建自动HA 1.1.复制编译后的hadoop项目到/usr/local目录下 1.2.修改位于etc/hadoop目录下的配置文件 1.1.1.hadoop-env.sh 1 export JAVA_HOME= /usr/local/jdk 1.1.1.core-site.xml 1 2 3 4 5 <configuration> <property> <name>fs.defaultFS< /name > <value>hdfs: //cluster1 <...

2017-11-23

575

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。