Hive Lock 流程简析-低调大师

Hive Lock 流程简析

2017-11-14 748

 
        Hive在
        0.7
        开始对并发进行支持，本文简述一下Hive（CDH4.
        2.0
        ）的锁处理流程： 
       
        1
        .  首先对query进行编译，生成QueryPlan 
       
        2
        .  构建读写锁对象（主要两个成员变量：LockObject，Lockmode） 
       
        对于非分区表，直接根据需要构建S或者X锁对象
       
        对于分区表：
       
        (此处是区分input/output)
       
        If S mode:
       
        直接对Table/related partition 构建S对象
       
        Else：
       
        If 添加新分区：
       
        构建S对象
       
        Else
       
        构建X对象
       
        End
       
        3
        .  对锁对象进行字符表排序(避免死锁)，对于同一个LockObject，先获取Execlusive 
       
        4
        .  遍历锁对象列表，进行锁申请 
       
        While trynumber< hive.lock.numretries(default100):
       
        创建parent（node）目录,mode= CreateMode.PERSISTENT
       
        创建锁目录，mode=CreateMode.EPHEMERAL_SEQUENTIAL
       
        For Child：Children
       
        If Child已经有写锁：
       
        获取child写锁seqno
       
        If mode=X 并且 Child 已经有读锁
       
        获取child读锁seqno
       
        If childseqno>
        0
        并且小于当前seqno 
       
        释放锁
       
        Trynumber++
       
        Sleep(hive.lock.sleep.between.retries:default1min)

因此对于并发相对较高的场景来说默认的sleep时间太长了，并且这里使用的sleep模型也太简单，可能与本身hive并发写场景较少有关系.

另外就是对于是否启用并发是可以在客户端设置的，因此如果对于写的ETL Job担心被读锁住时可以在脚本里关闭该特性.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1308139，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476833

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop的话题系列

大家好，今天就市面上比较火热的云计算技术中最杰出的开源软件hadoop方面的话题，分享以下宅鸟在工作和学习中对hadoop的认识理解开发运维方面的理解。首先由大家带着以下几个问题引出以后博文. 1、什么是云计算？ 2、云计算在行业内存在方式？ 3、hadoop为什么云计算方面的杰出代表？ 4、怎样揭开hadoop神秘的面纱? 5、hadoop能给企业带来哪些好处？如果大家对这些比较清楚，如果不太清楚的朋友可以在网上搜到很多这方面的介绍。宅鸟希望给大家分享一些干货 6、hadoop集群搭建 7、CDH4 搭建hadoop集群 8、通过ganglia对整个hadoop集群的监控 9、hadoop运维过程中需要注意哪些方面 ... 本片作为hadoop系列的开篇索引，索引还会陆续更新本文转自birdinroom 51CTO博客，原文链接：http://blog.51cto.com/birdinroom/1343104，如需转载请自行联系原作者

2017-11-15

554

线上Hadoop做压缩格式更新，默认的从GZip转到Snappy，并重启了HDFS/MAPREDUCE集群，突然发现一个Hive Script Job从原来的12分钟缩短到4分钟并稳定跑了2天，并且该Job agent Server上的所有Hive Script Job的运行时间都缩短了；首先分析变更前后两天Job的MAPREDUCE日志，发现MAPREDUCE只变快了4分钟（因为Snappy的低压缩比导致了增加了一个REDUCER而把一个最慢的step加快，该哭还是笑呢：P），另外那诡异的4分钟在哪里消失了呢？对比了两天的Job运行日志发现变化之前每个Job Stage之间的时间间隔在30s+，而维护后这个时间在3s以内，第一反应就是怀疑是不是JobTracker的问题，在确认了从生成Job，提交Job到Job完成的时间都是正常的，并且Job在准备文件的过程中对HDFS的操作也是确认正常，GC正常，排除掉JT的问题同时也排除了Namenode的问题；再进一步发现Hive的MoveTask/Stats Task也是1s完成，掐头去尾后定位到是在MAPREDUCE已经被JobTrack...

2017-11-15

496

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。