Upgrade json-serde-xxx jar in Apache Hive-1.2.1-低调大师

Upgrade json-serde-xxx jar in Apache Hive-1.2.1

2016-10-29 727

1.背景:

在迁移ETL至ALiYun EMR环境，使用我们定制的Hive-1.2.1-emr版本过程中，业务脚本需要使用json-serde-1.1.9.9-SNAPSHOT-jar-with-dependencies.jar

2.抛错如下:

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.openx.data.jsonserde.JsonSerDe.

http://stackoverflow.com/questions/26644351/cannot-validate-serde-org-openx-data-jsonserde-jsonserde

3.解决版本:

升级json-serde jar为最新版

1.Configure mvn

[root@hadoopnn-01 hadoop]# export MAVEN_HOME=/hadoop/maven
[root@hadoopnn-01 hadoop]# export PATH=$MAVEN_HOME/bin:$PATH

2.Download json-serde source code

[root@hadoopnn-01 hadoop]# mkdir test
[root@hadoopnn-01 hadoop]# cd test
[root@hadoopnn-01 test]# git clone https://github.com/rcongiu/Hive-JSON-Serde.git

3.Compile json-serde

[root@hadoopnn-01 test]# cd Hive-JSON-Serde/
[root@hadoopnn-01 Hive-JSON-Serde]# mvn -Pcdh5 clean package
.................
.................
[INFO] Building jar: /hadoop/test/Hive-JSON-Serde/json-udf/target/json-udf-1.3.8-SNAPSHOT-tests.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] openx-json-serde ................................... SUCCESS [  1.627 s]
[INFO] json ............................................... SUCCESS [  4.308 s]
[INFO] json-cdh4-shim ..................................... SUCCESS [  3.250 s]
[INFO] json-cdh5-shim ..................................... SUCCESS [  2.800 s]
[INFO] json-serde-main .................................... SUCCESS [  6.131 s]
[INFO] json-udf ........................................... SUCCESS [  1.701 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 20.445 s
[INFO] Finished at: 2016-10-04T11:43:33+08:00
[INFO] Final Memory: 76M/335M
[INFO] ------------------------------------------------------------------------

4.sz json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar

[root@hadoopnn-01 Hive-JSON-Serde]# cd json-serde/target/
[root@hadoopnn-01 target]# ll
total 180
drwxr-xr-x 2 root root  4096 Oct  4 11:43 archive-tmp
drwxr-xr-x 3 root root  4096 Oct  4 11:43 classes
-rw-r--r-- 1 root root 37935 Oct  4 11:43 json-serde-1.3.8-SNAPSHOT.jar
-rw-r--r-- 1 root root 83787 Oct  4 11:43 json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar
-rw-r--r-- 1 root root 29997 Oct  4 11:43 json-serde-1.3.8-SNAPSHOT-tests.jar
drwxr-xr-x 2 root root  4096 Oct  4 11:43 maven-archiver
drwxr-xr-x 2 root root  4096 Oct  4 11:43 surefire
drwxr-xr-x 2 root root  4096 Oct  4 11:43 surefire-reports
drwxr-xr-x 4 root root  4096 Oct  4 11:43 test-classes

[root@hadoopnn-01 target]# sz json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar
rz
Starting zmodem transfer.  Press Ctrl+C to cancel.
Transferring json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar...
  100%      81 KB      81 KB/sec    00:00:01       0 Errors

微信关注我们

原文链接：https://yq.aliyun.com/articles/62498

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

飞天，进化！

转：阿里云的“飞天“是什么？一、飞天是什么？飞天（Apsara）是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机，以在线公共服务的方式为社会提供计算能力。从PC互联网到移动互联网到万物互联网，互联网成为世界新的基础设施。飞天希望解决人类计算的规模、效率和安全问题。飞天的革命性在于将云计算的三个方向整合起来：提供足够强大的计算能力，提供通用的计算能力，提供普惠的计算能力。二、飞天的主要组成部分包括哪些，架构是怎样的？ * 飞天管理着互联网规模的基础设施。最底层是遍布全球的几十个数据中心，数百个PoP节点。飞天所管理的这些物理基础设施还在不断扩张。 * 飞天内核跑在每个数据中心里面，它负责统一管理数据中心内的通用服务器集群，调度集群的计算、存储资源，支撑分布式应用的部署和执行，并自动进行故障恢复和数据冗余。 * 安全管理根植在飞天内核最底层。飞天内核提供的授权机制，能够有效实现“最小权限原则（Principle of least privilege）”。同时，还建立了自主可控的全栈安全体系。 * 监控报警诊断是飞天内核的最基本...

2016-10-29

646

不多说，直接上干货问题详情 [kfk@bigdata-pro01 apache-hive-0.13.1-bin]$ bin/hive Logging initialized using configuration in file:/opt/modules/apache-hive-1.0.0-bin/conf/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.NumberFormatException: For input string: "1s" at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:346) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625) a...

2016-10-30

847

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。