Hive MetadataOnlyOptimizer NPE-低调大师

Hive MetadataOnlyOptimizer NPE

2017-11-07 561

昨天同事在Web查询UI发现一个hivequery不能跑,SQL类似如下：

 
        select 
        c 
       
        from
       
        (
        select 
        * 
        from 
        db1.t1 
       
        where 
        partkey1 = 
        'xxx'
        ) a 
       
        left  
        outer 
        join 
        db2.t2 b 
        on 
        (a.c1 = b.c1) 
       
        left  
        outer 
        join 
        db2.t2 c 
        on 
        (a.c2 = c.c2) 
       
        group 
        by 
        c

报NPE，尝试下发现连explain都不行，说明在解析阶段就出问题了，查看日志：

 
        atorg.apache.hadoop.hive.ql.optimizer.physical.MetadataOnlyOptimizer$MetadataOnlyTaskDispatcher.dispatch(MetadataOnlyOptimizer.java:
        308
        ) 
       
        atorg.apache.hadoop.hive.ql.lib.DefaultGraphWalker.dispatch(DefaultGraphWalker.java:
        87
        ) 
       
        atorg.apache.hadoop.hive.ql.lib.DefaultGraphWalker.walk(DefaultGraphWalker.java:
        124
        ) 
       
        atorg.apache.hadoop.hive.ql.lib.DefaultGraphWalker.startWalking(DefaultGraphWalker.java:
        101
        ) 
       
        atorg.apache.hadoop.hive.ql.optimizer.physical.MetadataOnlyOptimizer.resolve(MetadataOnlyOptimizer.java:
        175
        ) 
       
        atorg.apache.hadoop.hive.ql.optimizer.physical.PhysicalOptimizer.optimize(PhysicalOptimizer.java:
        79
        ) 
       
        at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.genMapRedTasks(SemanticAnalyzer.java:
        8399
        ) 
       
        atorg.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:
        8741
        ) 
       
        atorg.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:
        278
        ) 
       
        atorg.apache.hadoop.hive.ql.Driver.compile(Driver.java:
        433
        ) 
       
        atorg.apache.hadoop.hive.ql.Driver.compile(Driver.java:
        337
        ) 
       
        atorg.apache.hadoop.hive.ql.Driver.run(Driver.java:
        902
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:
        259
        ) 
       
        atorg.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:
        216
        ) 
       
        atorg.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:
        413
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:
        756
        ) 
       
        atorg.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:
        614
        ) 
       
        atsun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
        39
        ) 
       
        atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
        25
        ) 
       
        atjava.lang.reflect.Method.invoke(Method.java:
        597
        ) 
       
        atorg.apache.hadoop.util.RunJar.main(RunJar.java:
        208
        )

是在物理优化阶段MetadataOnlyOptimizer出了问题，具体到NPE的部分是：

 
        while
        (iterator.hasNext()) { 
       
        TableScanOperator tso =iterator.next(); 
       
        LOG.info(
        "Metadata only table scan for "
        + tso.getConf().getAlias()); 
       
        convertToMetadataOnlyQuery((MapredWork)task.getWork(), tso); 
       
        }

该处是有一个Bug（HIVE-4935）的，按道理直接关闭hive.optimize.metadataonly就可以简单workaround，不过要弄清楚为什么0.11之前的版本不会触发，因为metadataonly 0.10之前就引入了.

查看Pla才知道是和0.11引入的mapjoin merge的优化有关系：

TS1->MapJoin1->TS2->MapJoin2->

由于默认开启了mapjoinmerge，并且都是noconditional的task，TSO是不需要任何column因此conf为空，进而触发了前面的Bug，这个触发本身也作为一个Bug（HIVE-4927）在0.12得到fix，而work around这个Bug也简单：

关闭hive.auto.convert.join.noconditionaltask，因此解决这个问题可以有两种方式来选择.

PS：这个hive.auto.convert.join.noconditionaltask开启后，启动的TASK是被标记为MAPJOIN_ONLY_NOBACKUP：The join task is converted to a mapjoin task. This can only happen if hive.auto.convert.join.noconditionaltaskis set to true.No conditional task was created in case the mapjoin failed.

也就是说这个这个特性启动的task是不会有backup task的，如果某个mapredlocaltask fail的话整个Job也就Failed了.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1365451，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476777

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

特殊权限-SUID,SGID,Sticky 学习笔记

SUID : 运行某程序时,相应进程的属主是程序文件自身的属主,而不是启动者 chmod u+s FILENAME (添加 SUID 权限) chmod u-s FILENAME (除去SUID 权限) 如果 FILE 本身原来就有执行权限,则 SUID 显示为 s ; 否则显示 S; passwd 命令默认具有 SUID 权限 SGID :运行某程序时,相应进程的属组是程序文件自身的属组,而不是启动者 (目录有SGID权限后,在该目录下创建文件目录时,创建后的属组为目录自身的属组,) chmod g+s FILENAME (添加 SGID 权限) chmod g-s FILENAME (除去 SGID 权限) Sticky : 在一个公共目录,每个用户都可以创建文件,删除自己的文件,但不能删除别人的文件 chmod o+t DIR (添加 Sticky 权限) chmod o-t DIR (删除 Sticky 权限) 权限表示 SUID : 4 SGID : 2 Sticky : 1 chm...

2017-11-08

584

在写HiveQL的时候，往往发现内置函数不够用，Hive支持用户自定义函数UDF，使用Java进行开发。很多时候这显得过于繁重。因而Hive中提供了Transform机制（基于hadoop streaming），这种机制相当于提供了一个脚本程序的入口，因此我们可以很方便的使用shell、perl、python等语言进行开发。 Python是很简单易学开发效率也很高的一种脚本语言，虽然性能上不及Java和Cxx，但是在大多数情况下，特别是hadoop这样的分布式环境中，不会成为特别明显的性能瓶颈。 hive中transform的标准语法是下面这样的: selecttransform(x,y,z....)using'xxx.py'as(xx,yy,zz....)from.... 其中，xyz为待处理的字段，xxx.py即为我们的python脚本。在执行上面这个hiveql语句之前，需要将相应的脚本文件添加到环境中。使用add file xxx.py即可，这里的文件名不能加引号。 python脚本可以采用下面这个框架: defmain(): try: forlineinsys....

2017-11-08

552

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。