HiveServer2 ZooKeeper 连接泄漏-低调大师

HiveServer2 ZooKeeper 连接泄漏

2017-11-13 669

昨天线上ETLJob突然挂起，查看Hive Log异常：

[ERROR]:Utils - FAILED: Error in acquiring locks: Locks on the underlying objectscannot be acquired. retry after some time

WARNunexpected error, closing socket connection and attempting reconnectjava.io.IOException: Connection reset by peer

一看是获取锁失败，关于Hive获取锁的流程简析：

http://boylook.blog.51cto.com/7934327/1308139

在看ZK发现从这台Agent到ZK的连接已经超过maxClientCnxns了，立刻先把ZK增加问题得到缓解，然后开始找RC：

出现问题的前一天修改了hive.lock.sleep.between.retries到5s，是不是和这个有关系呢？每次ZKLockManager在retry前会执行prepareretry，主要是检查前一个zk连接是否超时，如果没有继续用这个连接否则new一个zk连接，因此问题不应该是这里.

再看出问题的Client上主要跑了ETL agent和hiveserver2，发现连接都是从hiveserver2上来的，怀疑是不是因为默认的maxWorkerThreads略大了，不过worker和zk的连接无关，只是决定了ThreadPoolExecutor的线程数，看hiveserver部分代码最终与ZK交互的执行层面是OperationHandle，进而就是大家都熟悉的Driver run方法了，到这里基本上才开始进行SQL的解析运行，包括锁的处理.

而我们使用的是CDH4.2.0，这里有一个OperationHandle 资源泄露进而导致到ZK连接泄漏的一个Bug：

https://issues.cloudera.org/browse/DISTRO-512?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aall-tabpanel#issue-tabs–> HIVE-4398，在Hive0.11已经修复

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1315751，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476812

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Zookeeper 默认SessionTimeout

Hive在连Zookeeper时发现ZK的日志里都是类似： Gota Connection with timeout 40000ms Hive在获取锁创建ZK连接时传入的默认sessionTimeout是10min，为什么到ZK Server这里变成40s呢？这和ZK的默认配置有关，默认的配置只是有ticktime=2000ms，而默认的minSessionTimeout=2*ticktime,maxSessionTimeout=20*ticktime，因此，当Hive连过来时由于10min >> maxSessionTimeout，才有日志里面的结果. 本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1315758，如需转载请自行联系原作者

2017-11-14

597

前言由于最近公司开始停止使用SVN，开始转向GIT了，利用周末的时间学习实践了下，分享给大家~ 什么是Git? Git的官网是：http://git-scm.com/，我们可以在上面了解到GIT的一些介绍： Git is afree and open sourcedistributed version control system designed to handle everything from small to very large projects with speed and efficiency. Git是一个开源的，免费的，分布式的版本管理系统。我们知道CVS,SVN，也是常用的版本管理系统，他们之间最大的区别在于“分布式”。另外，我们还需要注意GIT的一个特性：everything is local 要知道CSV,SVN，我们本地安装的是客户端，必须通过网络连接到服务器，才能取得代码，如果断网，那就OVER了。但是GIT则不同，它所有的东西都在本地存放，也就是说在断网的情况下，可以离线运行。说到GIT，那么自然要知道一个网站：https://github.co...

2017-11-14

592

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。