Hive查询失败：no LazyObject for VOID-低调大师

Hive查询失败：no LazyObject for VOID

2017-11-22 724

线上一个ETL Job不能跑了，报异常，这里为了说明问题简化表结构：

 
        hive>
        desc 
        void_t; 
       
        OK
       
        x                       
        int                     
        None              
       
        z                       void                    None

而

 
        select
        * 
        from 
        void_t

确实会抛出异常：

 
        14
        /
        03
        /
        0201
        :
        28
        :
        58 
        ERROR CliDriver: Failed with exceptionjava.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: Errorevaluating x

看到这个异常很疑惑，和x字段有什么关系呢，继续看详细日志：

 
        java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: Error evaluating x
       
        atorg.apache.hadoop.hive.ql.exec.FetchTask.fetch(FetchTask.java:
        150
        ) 
       
        atorg.apache.hadoop.hive.ql.Driver.getResults(Driver.java:
        1412
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:
        271
        ) 
       
        atorg.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:
        216
        ) 
       
        atorg.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:
        413
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:
        756
        ) 
       
        atorg.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:
        614
        ) 
       
        atsun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
        39
        ) 
       
        atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
        25
        ) 
       
        atjava.lang.reflect.Method.invoke(Method.java:
        597
        ) 
       
        atorg.apache.hadoop.util.RunJar.main(RunJar.java:
        208
        ) 
       
        Causedby: org.apache.hadoop.hive.ql.metadata.HiveException: Error evaluating x
       
        atorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:
        80
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:
        502
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:
        832
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:
        90
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:
        502
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.FetchOperator.pushRow(FetchOperator.java:
        490
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.FetchTask.fetch(FetchTask.java:
        136
        ) 
       
        ... 
        11 
        more 
       
        Causedby: java.lang.RuntimeException: Internal error: no LazyObject 
        for 
        VOID 
       
        atorg.apache.hadoop.hive.serde2.lazy.LazyFactory.createLazyPrimitiveClass(LazyFactory.java:
        119
        ) 
       
        atorg.apache.hadoop.hive.serde2.lazy.LazyFactory.createLazyObject(LazyFactory.java:
        155
        ) 
       
        at org.apache.hadoop.hive.serde2.lazy.LazyStruct.parse(LazyStruct.java:
        108
        ) 
       
        atorg.apache.hadoop.hive.serde2.lazy.LazyStruct.getField(LazyStruct.java:
        190
        ) 
       
        atorg.apache.hadoop.hive.serde2.lazy.objectinspector.LazySimpleStructObjectInspector.getStructFieldData(LazySimpleStructObjectInspector.java:
        188
        ) 
       
        atorg.apache.hadoop.hive.serde2.objectinspector.DelegatedStructObjectInspector.getStructFieldData(DelegatedStructObjectInspector.java:
        79
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.ExprNodeColumnEvaluator.evaluate(ExprNodeColumnEvaluator.java:
        98
        ) 
       
        atorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:
        76
        )

看到这个noLazyObject for VOID才知道原来问题出现在这里，也就是字段z上；查看ETL Job里的Query发现里面一个建表的语句用到了create table xxx as select null as z from xxx这样的方式，进而生成了一个VOID类型的字段，但是Hive本身却无法处理该字段，在jira里确实也有这么一个unresolved的Bug:HIVE-2615

Workaround也比较简单：1.先建表再insert select 2.在ctas时cast(null as <type>) z来强制指定类型.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1365747，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476774

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

EnterpriseDB剑指Hadoop:优化数据处理

世界上领先的供应商EnterpriseDB正式发布了Hadoop的Postgres Plus(R) Connector。作为PostgreSQL衍生版本的EnterpriseDB却异军突起，近期频繁的市场动作无疑让人眼前一亮。开源数据库：EnterpriseDB异军突起 EnterpriseDB是一家基于开源数据库PostgreSQL，提供增值服务的开源服务供应商。目前，MySQL、PostgreSQL、EnterpriseDB是全球三大开源数据库，而PostgreSQL是目前最为流行的开源数据库之一。与MySQL侧重在个人和轻量型数据库应用不同，PostgreSQL是一种面向企业级的数据库产品。EnterpriseDB所做的工作就是在PostgreSQL的基础上，集成各种组件和实用的工具，从而为PostgreSQL增加了一些高级特性，以满足各种高级需求。 EnterpriseDB有三种产品，分别是基础版、标准版和企业版。其增值主要体现在后两个版本上。标准版中提供了客户端连接驱动、连接池、地理信息支持、自动软件更新; 企业版直接支持Oracle数据库的数据类型、SQL语法、PL/SQ...

2017-11-23

498

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to...

一、问题现象某一个nodemanager退出后，导致 application master中出现大量的如下日志，并且持续很长时间，application master才成功退出。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 2016-06-2409:32:35,596INFO[ContainerLauncher #3]org.apache.hadoop.ipc.Client:Retryingconnecttoserver:dchadoop206/192.168.1.199:32951.Alreadytried1time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000MILLISECONDS) 2016-06-2409:32:35,596INFO[ContainerLauncher #9]org.apache.hadoop.ipc.Client:Retryingconnecttose...

2017-11-23

548

发表评论

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。