hive lock的配置问题-低调大师

hive lock的配置问题

2017-11-20 705

hive在0.7版本之后开始支持并发，线上的环境是用zookeeper做hive的锁管理。

hive目前主要有两种锁，SHARED（共享锁s）和IMPLICIT（排他锁x）。

hive的锁在某些情况下会影响job的效率。在对数据一致性要求不高或者已经明确了解到lock不会对job产生影响的情况下可以在session级别关闭lock的支持。

场景1：

离线下载分析商业cdn的qos job。

使用load data将数据导入hive中，hive的表按dt,hour,domain进行明确分区，因此，是否有锁对数据的一致性影响不大，反而有了锁之后，job之间就会有锁竞争的问题（报错信息：conflicting lock present for table mode EXCLUSIVE）。

调整job:

hive --database cdnlog -e "set hive.support.concurrency=false;load data local inpath 'file' OVERWRITE into table chinanetcenter_log_origin partition(dt='2013-12-17',hour='04',domain='xxx')"

数据load时就不会有报错了，效率也高了不少

场景2：

hive锁的几个配置

hive.lock.numretries #重试次数
hive.lock.sleep.between.retries #重试时sleep的时间

hive默认的sleep时间是60s，比较长，在高并发场景下，可以减少这个的数值来提供job的效率。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1344453，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434724

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive元数据表结构

在debug hive的问题的时候，经常需要分析hive元数据的表结构。这里简单地说下常用的几个表的结构： dbs 存储了database的一些信息，id,描述，hdfs中的路径和名称。 tbls 存储了table的一些信息，id，表名等。。其中常用的两个字段是SD_ID和TBL_TYPE，SD_ID后面再说。TBL_TYPE字段定义了表是外部表（EXTERNAL_TABLE）还是托管表（MANAGED_TABLE） hive目前的版本是支持view的，view的定义是在tbls表中，TBL_TYPE字段是VIRTUAL_VIEW。 1 2 3 4 5 6 7 8 select distinct TBL_TYPE from tbls; + ----------------+ | TBL_TYPE | + ----------------+ | MANAGED_TABLE | | EXTERNAL_TABLE | | VIRTUAL_VIEW | + ----------------+ tbls中有另外的两个字段标识了view的sql: VIEW_EXPANDED_TEXT,VIEW...

2017-11-21

598

2.0之后ES的java api用法有了很大变化。在此记录一些。 java应用程序连接ES集群，笔者使用的是TransportClient，获取TransportClient的代码设计为单例模式（见getClient方法）。同时包含了设置自动提交文档的代码。注释比较详细，不再赘述。下方另有提交文档、提交搜索请求的代码。 1、连接ES集群代码如下： 1 package elasticsearch; 2 3 import com.vividsolutions.jts.geom.GeometryFactory; 4 import com.vividsolutions.jts.geom.MultiPolygon; 5 import com.vividsolutions.jts.geom.Polygon; 6 import com.vividsolutions.jts.io.ParseException; 7 import com.vividsolutions.jts.io.WKTReader; 8 import org.apache.commons.logging.Log; 9 import...

2017-11-21

519

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。