hive0.13.1 orc兼容性问题fix-低调大师

hive0.13.1 orc兼容性问题fix

2017-11-06 872

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常，但是插入数据时报错报错：

 
        java.lang.VerifyError: 
        class 
        org.apache.hadoop.hive.ql.io.orc.OrcProto$RowIndex overrides 
        final 
        method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet; 
       
        at java.lang.ClassLoader.defineClass1(Native Method) 
       
        at java.lang.ClassLoader.defineClass(Unknown Source) 
       
        at java.security.SecureClassLoader.defineClass(Unknown Source) 
       
        at java.net.URLClassLoader.defineClass(Unknown Source) 
       
        at java.net.URLClassLoader.access$
        100
        (Unknown Source) 
       
        at java.net.URLClassLoader$
        1
        .run(Unknown Source) 
       
        at java.net.URLClassLoader$
        1
        .run(Unknown Source) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at java.net.URLClassLoader.findClass(Unknown Source) 
       
        at java.lang.ClassLoader.loadClass(Unknown Source) 
       
        at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) 
       
        at java.lang.ClassLoader.loadClass(Unknown Source) 
       
        at org.apache.hadoop.hive.ql.io.orc.WriterImpl.<init>(WriterImpl.java:
        129
        ) 
       
        at org.apache.hadoop.hive.ql.io.orc.OrcFile.createWriter(OrcFile.java:
        369
        ) 
       
        at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.close(OrcOutputFormat.java:
        103
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Utilities.createEmptyFile(Utilities.java:
        3065
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Utilities.createDummyFileForEmptyPartition(Utilities.java:
        3089
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Utilities.getInputPaths(Utilities.java:
        3013
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:
        369
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:
        136
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:
        153
        ) 
       
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:
        85
        ) 
       
        at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:
        72
        )

从错误可以看出是由于pb兼容问题导致，尝试使用pb2.4.0a编译hive0.13.1:

1.pom.xml文件：

更改

 
        <protobuf.version>
        2.5
        .
        0
        </protobuf.version>

为

 
        <protobuf.version>
        2.4
        .0a</protobuf.version>

2.运行mvn进行编译：

 
        mvn clean 
        package 
        -DskipTests -Phadoop-
        2 
        -Pdist

发现报如下错误：

 
        [ERROR] /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/gen-java/
       
        org/apache/hadoop/hive/ql/io/orc/OrcProto.java:[
        9828
        ,
        38
        ] cannot find symbolsymbol   
       
        : 
        class 
        Parserlocation: 
        package 
        com.google.protobuf[ERROR]  
       
        /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/gen-java/org/apache/hadoop
       
        /hive/ql/io/orc/OrcProto.java:[
        9839
        ,
        31
        ] cannot find symbolsymbol  :  
       
        class 
        Parserlocation: 
        package 
        com.google.protobuf 
       
        ....
       
        [ERROR] /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/gen-java/
       
        org/apache/hadoop/hive/ql/io/orc/OrcProto.java:[
        169
        ,
        9
        ] getUnknownFields()  
       
        in org.apache.hadoop.hive.ql.io.orc.OrcProto.IntegerStatistics cannot override 
       
        getUnknownFields() in com.google.protobuf.GeneratedMessage; overridden method 
       
        is 
        final
        [ERROR] /home/caiguangguang/hive_0.13_debug/ql/src/gen/protobuf/ 
       
        gen-java/org/apache/hadoop/hive/ql/io/orc/OrcProto.java:[
        189
        ,
        20
        ]  
       
        cannot find symbolsymbol  : method parseUnknownField
       
        (com.google.protobuf.CodedInputStream,com.google.protobuf.UnknownFieldSet.
       
        Builder,com.google.protobuf.ExtensionRegistryLite,
        int
        )

3.这里

 
        hive_0.13_debug/ql/src/gen/protobuf/gen-java/org/apache/hadoop/hive/ql/io/orc/OrcProto.java

是由protoc2.5.0生成的，但是jar包却是2.4.0a的，因此会报错

4.考虑使用2.4.0a的protoc手动生成java代码

 
        protoc --version
       
        libprotoc 
        2.4
        .0a

这里主要涉及两个proto文件：

 
        protoc ql
        /src/protobuf/org/apache/hadoop/hive/ql/io/orc/orc_proto
        .proto --java_out=ql
        /src/gen/protobuf/gen-java/ 
       
        protoc .
        /hcatalog/storage-handlers/hbase/src/protobuf/org/apache/hcatalog/hbase/snapshot/RevisionManagerEndpoint
        .proto 
       
        --java_out=hcatalog
        /storage-handlers/hbase/src/gen-java/

5.重新编译成功，将hive-exec jar包解压后，可以看到pom.properties中pb的版本已经是2.4.0a了：

 
        META-INF
        /maven/com
        .google.protobuf
        /protobuf-java/pom
        .properties 
       
        #Generated by Maven
       
        #Thu Mar 10 11:50:31 CST 2011
       
        version=2.4.0a
       
        groupId=com.google.protobuf
       
        artifactId=protobuf-java

更换hive-exec jar包之后，测试向orc file的表插入数据也正常。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1599128，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434319

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Hive启动报NoClassDefFoundError错误

hive启动报Exception in thread "main" java.lang.NoClassDefFoundError错误原因：配置问题，Hadoop缺少相应的hive jar包。 **解决：步骤1.修改Hadoop目录下/conf/hadoop-env.sh,添加hadoop对hive中jar的应用,如下图所示（下图路径为hive安装路径）：步骤2.把hive/lib下所有的hive--.jar文件拷贝到hadoop的lib下本文转自爱情89757 51CTO博客，原文链接：http://blog.51cto.com/59465168/2060014，如需转载请自行联系原作者

2017-11-07

617

在hive的源码中经常可以看到Context类和DriverContext类，咋一看感觉这两个意思差不多，其实其作用区别还是蛮大的： org.apache.hadoop.hive.ql.Context类存储job的上下文信息，一个job创建一个Context对象，job运行完后，调用clear方法进行清除 1）初始化/创建/删除中间目录中间的目录包括local job的和非local job的 1 2 3 4 5 6 7 protected int pathid= 10000 ; private static final StringMR_PREFIX= "-mr-" ; //对应getMRTmpPath方法 private static final StringEXT_PREFIX= "-ext-" ; //对应getLocalTmpPath方法 private static final StringLOCAL_PREFIX= "-local-" ; //对应getExternalTmpPath方法 private StringnextPathId(){ return Int...

2017-11-07

781

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。