在Hive中使用Avro-低调大师

在Hive中使用Avro

2017-08-29 764

作者:过往记忆 | 新浪微博：左手牵右手TEL |
可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
博客地址：http://www.iteblog.com/
文章标题：《在Hive中使用Avro》
本文链接：http://www.iteblog.com/archives/1007
Hadoop、Hive、Hbase、Flume等QQ交流群：138615359（已满），请加入新群：149892483

本博客的微信公共帐号为：iteblog_hadoop，欢迎大家关注。
如果你觉得本文对你有帮助，不妨分享一次，你的每次支持，都是对我最大的鼓励

如果本文的内容对您的学习和工作有所帮助，不妨支付宝赞助(wyphao.2007@163.com)一下

Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting牵头开发。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。
在Hive中，我们可以将数据使用Avro格式存储，本文以avro-1.7.1.jar为例，进行说明。

　　如果需要在 Hive中使用Avro，需要在$HIVE_HOME/lib目录下放入以下四个工具包：avro-1.7.1.jar、avro-tools-1.7.4.jar、 jackson-core-asl-1.8.8.jar、jackson-mapper-asl-1.8.8.jar。当然，你也可以把这几个包存在别的路径下面，但是你需要把这四个包放在CLASSPATH中。

　　为了解析Avro格式的数据，我们可以在Hive建表的时候用下面语句：

 
      01 
      hive> CREATE EXTERNAL TABLE tweets 
     
      02 
           > COMMENT "A table backed by Avro data with the  
     
      03 
           >        Avro schema embedded in the CREATE TABLE statement"  
     
      04 
           > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'  
     
      05 
           > STORED AS  
     
      06 
           > INPUTFORMAT  'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'  
     
      07 
           > OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'  
     
      08 
           > LOCATION '/user/wyp/examples/input/'  
     
      09 
           > TBLPROPERTIES (  
     
      10 
           >    'avro.schema.literal'='{  
     
    本文转自茄子_2008博客园博客，原文链接：http://www.cnblogs.com/xd502djj/p/4089644.html
    ，如需转载请自行联系原作者。

微信关注我们

原文链接：https://yq.aliyun.com/articles/355622

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MongoDB结盟Cloudera 欲征服大数据市场

MongoDB和Cloudera，分别是NoSQL市场和Hadoop市场的重量级大公司。近日，两家公司提出要共享营销和销售渠道，声称目的只有一个：为客户提供大数据整体解决方案，消除客户的疑虑。 MongoDB是NoSQL市场上成功的数据库供应商，而Cloudera在Hadoop市场上也是领袖级的大公司，两家公司都认识到，目前客户对大数据还很困惑，如果能为客户解除这些疑虑，为客户提供整体的解决方案，对两家公司未来的发展都是极为有利的。这两家公司在周二宣布了结盟的消息，它们致力于建立更深的合作伙伴关系，作为合作伙伴关系的一部分，MongoDB和Cloudera将把它们的产品整合营销和出售，在大数据技术上形成互补效应，简单地说，MongoDB将被定位成面向高扩展性应用的操作型数据库，而Cloudera基于Hadoop的企业数据中心将被用作分析平台。 Matt，MongoDB副总裁，负责MongoDB的市场、业务发展和企业战略。在一次电话采访中，他告诉我们：“在去年Strata会议上，我讲过MongoDB数据库和Hadoop平台应该结合在一起，那时我就认识到MongoDB需要在战略上做出一些...

2017-08-30

485

当hive在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下： Possible error: Out of memory due to hash maps used in map-side aggregation. Solution: Currently hive.map.aggr.hash.percentmemory is set to 0.5. Try setting it to a lower value. i.e 'set hive.map.aggr.hash.percentmemory = 0.25;' 查看task的失败信息为： Error:GC overhead limit exceeded 对于这个错误，通常是由两种情况造成的：(1) hive sql写的不合理，导致执行时hash map过大；（2）hive sql没有优化的余地了（要得到想要的数据只能写这样的sql）。对于（1）则改变sql语句，从而降低hash map的大小。对于（2）则可以调整参数。下面分别说明（1）和（2）的情况：（1）改变sql语句 select cou...

2017-08-30

449

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。