首页 文章 精选 留言 我的

精选列表

搜索[zookeeper],共3745篇文章
优秀的个人博客,低调大师

HiveServer2 ZooKeeper 连接泄漏

昨天线上ETLJob突然挂起,查看Hive Log异常: [ERROR]:Utils - FAILED: Error in acquiring locks: Locks on the underlying objectscannot be acquired. retry after some time WARNunexpected error, closing socket connection and attempting reconnectjava.io.IOException: Connection reset by peer 一看是获取锁失败,关于Hive获取锁的流程简析: http://boylook.blog.51cto.com/7934327/1308139 在看ZK发现从这台Agent到ZK的连接已经超过maxClientCnxns了,立刻先把ZK增加问题得到缓解,然后开始找RC: 出现问题的前一天修改了hive.lock.sleep.between.retries到5s,是不是和这个有关系呢?每次ZKLockManager在retry前会执行prepareretry,主要是检查前一个zk连接是否超时,如果没有继续用这个连接否则new一个zk连接,因此问题不应该是这里. 再看出问题的Client上主要跑了ETL agent和hiveserver2,发现连接都是从hiveserver2上来的,怀疑是不是因为默认的maxWorkerThreads略大了,不过worker和zk的连接无关,只是决定了ThreadPoolExecutor的线程数,看hiveserver部分代码最终与ZK交互的执行层面是OperationHandle,进而就是大家都熟悉的Driver run方法了,到这里基本上才开始进行SQL的解析运行,包括锁的处理. 而我们使用的是CDH4.2.0,这里有一个OperationHandle资源泄露进而导致到ZK连接泄漏的一个Bug: https://issues.cloudera.org/browse/DISTRO-512?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aall-tabpanel#issue-tabs–>HIVE-4398,在Hive0.11已经修复 本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1315751,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册