Hive Lock 流程简析-低调大师

Hive Lock 流程简析

2017-11-14 724

 
        Hive在
        0.7
        开始对并发进行支持，本文简述一下Hive（CDH4.
        2.0
        ）的锁处理流程： 
       
        1
        .  首先对query进行编译，生成QueryPlan 
       
        2
        .  构建读写锁对象（主要两个成员变量：LockObject，Lockmode） 
       
        对于非分区表，直接根据需要构建S或者X锁对象
       
        对于分区表：
       
        (此处是区分input/output)
       
        If S mode:
       
        直接对Table/related partition 构建S对象
       
        Else：
       
        If 添加新分区：
       
        构建S对象
       
        Else
       
        构建X对象
       
        End
       
        3
        .  对锁对象进行字符表排序(避免死锁)，对于同一个LockObject，先获取Execlusive 
       
        4
        .  遍历锁对象列表，进行锁申请 
       
        While trynumber< hive.lock.numretries(default100):
       
        创建parent（node）目录,mode= CreateMode.PERSISTENT
       
        创建锁目录，mode=CreateMode.EPHEMERAL_SEQUENTIAL
       
        For Child：Children
       
        If Child已经有写锁：
       
        获取child写锁seqno
       
        If mode=X 并且 Child 已经有读锁
       
        获取child读锁seqno
       
        If childseqno>
        0
        并且小于当前seqno 
       
        释放锁
       
        Trynumber++
       
        Sleep(hive.lock.sleep.between.retries:default1min)

因此对于并发相对较高的场景来说默认的sleep时间太长了，并且这里使用的sleep模型也太简单，可能与本身hive并发写场景较少有关系.

另外就是对于是否启用并发是可以在客户端设置的，因此如果对于写的ETL Job担心被读锁住时可以在脚本里关闭该特性.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1308139，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476833

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop的话题系列

大家好，今天就市面上比较火热的云计算技术中最杰出的开源软件hadoop方面的话题，分享以下宅鸟在工作和学习中对hadoop的认识理解开发运维方面的理解。首先由大家带着以下几个问题引出以后博文. 1、什么是云计算？ 2、云计算在行业内存在方式？ 3、hadoop为什么云计算方面的杰出代表？ 4、怎样揭开hadoop神秘的面纱? 5、hadoop能给企业带来哪些好处？如果大家对这些比较清楚，如果不太清楚的朋友可以在网上搜到很多这方面的介绍。宅鸟希望给大家分享一些干货 6、hadoop集群搭建 7、CDH4 搭建hadoop集群 8、通过ganglia对整个hadoop集群的监控 9、hadoop运维过程中需要注意哪些方面 ... 本片作为hadoop系列的开篇索引，索引还会陆续更新本文转自birdinroom 51CTO博客，原文链接：http://blog.51cto.com/birdinroom/1343104，如需转载请自行联系原作者

2017-11-15

536

线上Hadoop做压缩格式更新，默认的从GZip转到Snappy，并重启了HDFS/MAPREDUCE集群，突然发现一个Hive Script Job从原来的12分钟缩短到4分钟并稳定跑了2天，并且该Job agent Server上的所有Hive Script Job的运行时间都缩短了；首先分析变更前后两天Job的MAPREDUCE日志，发现MAPREDUCE只变快了4分钟（因为Snappy的低压缩比导致了增加了一个REDUCER而把一个最慢的step加快，该哭还是笑呢：P），另外那诡异的4分钟在哪里消失了呢？对比了两天的Job运行日志发现变化之前每个Job Stage之间的时间间隔在30s+，而维护后这个时间在3s以内，第一反应就是怀疑是不是JobTracker的问题，在确认了从生成Job，提交Job到Job完成的时间都是正常的，并且Job在准备文件的过程中对HDFS的操作也是确认正常，GC正常，排除掉JT的问题同时也排除了Namenode的问题；再进一步发现Hive的MoveTask/Stats Task也是1s完成，掐头去尾后定位到是在MAPREDUCE已经被JobTrack...

2017-11-15

475

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。