hive0.13.1 orc兼容性问题fix-低调大师

hive0.13.1 orc兼容性问题fix

2017-11-06 846

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常，但是插入数据时报错报错：

 
        java.lang.VerifyError: 
        class 
        org.apache.hadoop.hive.ql.io.orc.OrcProto$RowIndex overrides 
        final 
        method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet; 
       
        at java.lang.ClassLoader.defineClass1(Native Method) 
       
        at java.lang.ClassLoader.defineClass(Unknown Source) 
       
        at java.security.SecureClassLoader.defineClass(Unknown Source) 
       
        at java.net.URLClassLoader.defineClass(Unknown Source) 
       
        at java.net.URLClassLoader.access$
        100
        (Unknown Source) 
       
        at java.net.URLClassLoader$
        1
        .run(Unknown Source) 
       
        at java.net.URLClassLoader$
        1
        .run(Unknown Source) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at java.net.URLClassLoader.findClass(Unknown Source) 
       
        at java.lang.ClassLoader.loadClass(Unknown Source) 
       
        at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) 
       
        at java.lang.ClassLoader.loadClass(Unknown Source) 
       
        at org.apache.hadoop.hive.ql.io.orc.WriterImpl.<init>(WriterImpl.java:
        129
        ) 
       
        at org.apache.hadoop.hive.ql.io.orc.OrcFile.createWriter(OrcFile.java:
        369
        ) 
       
        at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.close(OrcOutputFormat.java:
        103
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Utilities.createEmptyFile(Utilities.java:
        3065
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Utilities.createDummyFileForEmptyPartition(Utilities.java:
        3089
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Utilities.getInputPaths(Utilities.java:
        3013
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:
        369
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:
        136
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:
        153
        ) 
       
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:
        85
        ) 
       
        at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:
        72
        )

从错误可以看出是由于pb兼容问题导致，尝试使用pb2.4.0a编译hive0.13.1:

1.pom.xml文件：

更改

 
        <protobuf.version>
        2.5
        .
        0
        </protobuf.version>

为

 
        <protobuf.version>
        2.4
        .0a</protobuf.version>

2.运行mvn进行编译：

 
        mvn clean 
        package 
        -DskipTests -Phadoop-
        2 
        -Pdist

发现报如下错误：

 
        [ERROR] /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/gen-java/
       
        org/apache/hadoop/hive/ql/io/orc/OrcProto.java:[
        9828
        ,
        38
        ] cannot find symbolsymbol   
       
        : 
        class 
        Parserlocation: 
        package 
        com.google.protobuf[ERROR]  
       
        /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/gen-java/org/apache/hadoop
       
        /hive/ql/io/orc/OrcProto.java:[
        9839
        ,
        31
        ] cannot find symbolsymbol  :  
       
        class 
        Parserlocation: 
        package 
        com.google.protobuf 
       
        ....
       
        [ERROR] /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/gen-java/
       
        org/apache/hadoop/hive/ql/io/orc/OrcProto.java:[
        169
        ,
        9
        ] getUnknownFields()  
       
        in org.apache.hadoop.hive.ql.io.orc.OrcProto.IntegerStatistics cannot override 
       
        getUnknownFields() in com.google.protobuf.GeneratedMessage; overridden method 
       
        is 
        final
        [ERROR] /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/ 
       
        gen-java/org/apache/hadoop/hive/ql/io/orc/OrcProto.java:[
        189
        ,
        20
        ]  
       
        cannot find symbolsymbol  : method parseUnknownField
       
        (com.google.protobuf.CodedInputStream,com.google.protobuf.UnknownFieldSet.
       
        Builder,com.google.protobuf.ExtensionRegistryLite,
        int
        )

3.这里

 
        hive_0.13_debug/ql/src/gen/protobuf/gen-java/org/apache/hadoop/hive/ql/io/orc/OrcProto.java

是由protoc2.5.0生成的，但是jar包却是2.4.0a的，因此会报错

4.考虑使用2.4.0a的protoc手动生成java代码

 
        protoc --version
       
        libprotoc 
        2.4
        .0a

这里主要涉及两个proto文件：

 
        protoc ql
        /src/protobuf/org/apache/hadoop/hive/ql/io/orc/orc_proto
        .proto --java_out=ql
        /src/gen/protobuf/gen-java/ 
       
        protoc .
        /hcatalog/storage-handlers/hbase/src/protobuf/org/apache/hcatalog/hbase/snapshot/RevisionManagerEndpoint
        .proto 
       
        --java_out=hcatalog
        /storage-handlers/hbase/src/gen-java/

5.重新编译成功，将hive-exec jar包解压后，可以看到pom.properties中pb的版本已经是2.4.0a了：

 
        META-INF
        /maven/com
        .google.protobuf
        /protobuf-java/pom
        .properties 
       
        #Generated by Maven
       
        #Thu Mar 10 11:50:31 CST 2011
       
        version=2.4.0a
       
        groupId=com.google.protobuf
       
        artifactId=protobuf-java

更换hive-exec jar包之后，测试向orc file的表插入数据也正常。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1599128，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434319

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Hive启动报NoClassDefFoundError错误

hive启动报Exception in thread "main" java.lang.NoClassDefFoundError错误原因：配置问题，Hadoop缺少相应的hive jar包。 **解决：步骤1.修改Hadoop目录下/conf/hadoop-env.sh,添加hadoop对hive中jar的应用,如下图所示（下图路径为hive安装路径）：步骤2.把hive/lib下所有的hive--.jar文件拷贝到hadoop的lib下本文转自爱情89757 51CTO博客，原文链接：http://blog.51cto.com/59465168/2060014，如需转载请自行联系原作者

2017-11-07

603

在hive的源码中经常可以看到Context类和DriverContext类，咋一看感觉这两个意思差不多，其实其作用区别还是蛮大的： org.apache.hadoop.hive.ql.Context类存储job的上下文信息，一个job创建一个Context对象，job运行完后，调用clear方法进行清除 1）初始化/创建/删除中间目录中间的目录包括local job的和非local job的 1 2 3 4 5 6 7 protected int pathid= 10000 ; private static final StringMR_PREFIX= "-mr-" ; //对应getMRTmpPath方法 private static final StringEXT_PREFIX= "-ext-" ; //对应getLocalTmpPath方法 private static final StringLOCAL_PREFIX= "-local-" ; //对应getExternalTmpPath方法 private StringnextPathId(){ return Int...

2017-11-07

756

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。