热门搜索:
您现在的位置是：首页 > 文章详情

Hive Tunning（二）优化存储

日期：2016-09-07点击：520
接着上一章我们讲的hive的连接策略，现在我们讲一下hive的数据存储。
下面是hive支持的数据存储格式，有我们常见的文本，JSON，XML，这里我们主要讲一下ORCFile。
Built-in Formats: 
– ORCFile 
– RCFile 
– Avro 
– Delimited Text 
– Regular Expression 
– S3 Logfile 
– Typed Bytes 
• 3 
rd 
-Party Addons: 
– JSON 
– XML
674aaafaf9285cfcc97f55c543f26e7243bc0c51
这种格式非常适合HDFS，它有以下的 优点：
•高压缩 
– 高压缩比. 
– 字典编码. 
•高性能 
– 自带索引. 
– 高效的精确查询. 
• 灵活的数据模型 
– 支持所有的hive类型，包括maps.
389f1dd2e500ef0d50cd43082d541143f86702b9
从图中可以看出，orc格式的文件存储大小仅为文本的30%左右，比gz格式的都小，采用zlib压缩的话，更小，仅有22%左右。
使用orc格式存储的方式很简单，在建表的时候STORED AS orc即可 
CREATE TABLE sale( id int, timestamp timestamp, productsk int, storesk int, amount decimal, state string )STORED AS orc;
相关参数，自己看，不解释了。
4c720b7c9a03b3bd81241ce52f15a1bac44fd212
不适用zlib压缩的话，查询速度更快，但是也大一些。 
CREATE TABLE sale( id int, timestamp timestamp, productsk int, storesk int, amount decimal, state string )STORED AS orc tblproperties ("orc.compress"="NONE");

下面是加快hive查询的一些可以参考的方式：

f7689d4ce179503cdb5a7d6d56a508b2fbc8111d
（1）跳跃读取：采用分区Partition或者使用Skew，才用ORCFile二次排序。
（2）在连接字段上排序并且bucket，在连接小表的时候采用Broadcast joins。
（3）对经常使用的数据，增加备份因子，激活Short-Circuit Read，采用Tez。
d2bf1424a092ee5396f557f63877a146705c8251
当某个表很大的时候，我们往往要对其进行分区，比如按照时间来分区。 
CREATE TABLE sale( id int, amount decimal, ... )partitioned by (xdate string, state string);
其中的xdate和state是不存在的列，你可以认为它们是虚拟列，虚拟列会在HDFS当中建立子目录，属于分区的记录会存在那个子文件夹中。 
使用分区之后，在查询和插入的时候，就必须带有至少一个分区字段，否则查询将会失败。 
INSERT INTO sale (xdate=‘2013-03-01’, state=‘CA’) SELECT * FROM staging_table WHERE xdate = ‘2013-03-01’ AND state = ‘CA’;
如果你想一次查出所有数据，不想受这个限制的话，你可以 hive.exec.dynamic.partition.mode参数置为nonstrict。  
set hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO sale (xdate, state) SELECT * FROM staging_table;
有时候插入数据的时候，我们需要重新排序,在select 语句里面把虚拟列也加上，这样会有排序的效果。 
INSERT INTO sale (xdate, state=‘CA’) SELECT id, amount, other_stuff, xdate, state FROM staging_table WHERE state = ‘CA’;

下面我们讲一下常用的hive查询调优 

74555004e55b80b3df9215fb5383e5460d44acdc
mapred.max.split.size和mapred.min.split.size
min    太大->   太少mapper.    
max    太小->   mapper太多.   
Example:    
– set    mapred.max.split.size=100000000;    
– set    mapred.min.split.size=1000000; 
当然也有个原则，当mappers出现抢占资源的时候，才调整这些参数。
a2ace13f4718e1cbd6c9f6be30c0626510911c5f
– set    io.sort.mb=100;    
• All    the    time:    
– set    hive.optmize.mapjoin.mapreduce=true;    
– set    hive.optmize.bucketmapjoin=true;    
– set    hive.optmize.bucketmapjoin.sortedmerge=true;    
– set    hive.auto.convert.join=true;    
– set    hive.auto.convert.sortmerge.join=true;    
– set    hive.auto.convert.sortmerge.join.nocondi1onaltask=true;    
• When    bucketing    data:    
– set    hive.enforce.bucketing=true;    
– set    hive.enforce.sortng=true;    
• These and more are set by default in HDP 1.3（明显的广告词，说明HDP比较强大，已经给我们设置好了）.    
这些参数我们可以在hive-site.xml中查询到，我们也可以在shell中查询。
（1）查询所有的参数
38af0dd07f21a3fc44e43a3fc29209f39c3a00df
（2）查询某一个参数
21bd01b8b0d9608ccb9e7b6e2b248f39b396a3b5
（3）修改参数
9fd7900ccf77bd940bd659b74b3be28e7bfe2bf8
原文链接：https://yq.aliyun.com/articles/60181
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章