Hive Tuning（一）连接策略-低调大师

Hive Tuning（一）连接策略

2016-09-07 788

群里共享了一本hive调优的书记，名叫《Hive Tunning》，就忍不住开始看了，也顺便记录一下自己学到的东西，备忘！

首先，这是hive的数据摘要，别问我什么意思，我也没看懂。

4c22e24899abed69b468d7dca470befad9288a90

好，我们正式开始，首先是连接的问题，我们都知道连接耗时长，但是连接无法避免，那hive又是怎么处理连接操作的呢？

下面是hive的连接策略:

085bf50c221e80e4d157ad94815d99658bac8cc9

hive有 三种类型的连接策略:

（1）Shuffle Join ：这种类型的是通过map/reduce 来实现连接操作的，优点是不需要考虑数据的大小和分布，缺点是消耗大量的资源而且是最慢的。

（2）Broadcast Join：这种类型的方式是把一个小的表在所有节点中加载到内容当中，然后用mapper来扫描大表进行连接，速度非常快，但是其中一个表必须可以加载到内存当中。

（3）Sort-Merge-Bucket Join：mapper可以协同定位keys去进行高效的连接，速度很快，不需要考虑表的大小，但是数据必须先排序和整理。

Shuffle Join:

2d4cce36310ea85507195a416a9cc76b4e5370ab

我们以这个销售订单这个例子来做演示，可以看到其中的图，它们是通过customer.id=order.cid来做连接的，首先Map把两个表中的数据处理成以连接字段为key，其他字段为value的作为输出，然后把两个表中id和cid相同的数据传递到同一个reducer中，从网络使用率上看是很奢侈的。

Broadcast Join：

6771511e8adbe57f06bca2a227ccd89632d4f9f7

这种方式比较复杂一点，首先它使用足够小的维度表来存放在所有的节点当中，单独扫描大表，然后根据模式匹配进行连接。

当两个表都很大的情况下：

7c819ad08ed0aaf442374b31e5fdbecdd5a8799f

第一步，首先按照连接字段排序，所有可能的匹配的都在硬盘的同一块区域。

9090310e9bbf0811c103e4dbfe31fbc2b94eeb79

第二步，把所有的值都移到同一个节点下面进行等值连接，不需要再进行shuffle。

3a1fb8adde437c9eeffe8d1a26fe682b9d591ae0

Bucketing:

– Hash partition values into a configurable number of buckets.

– Usually coupled with sorting.

• Skews:

– Split values out into separate files.

– Used when certain values are frequently seen.

• Replication Factor:

– Increase replication factor to accelerate reads.

– Controlled at the HDFS layer.

• Sorting:

– Sort the values within given columns.

– Greatly accelerates query when used with ORCFilefilter pushdown.

这里就不解释了，自己看吧，这和下面的图是对应的，针对不同大小的表，hive有多种处理模式。

9222f688f1320856a3af132374766753305acc17

（1）小表，经常要用的数据，建议使用replication factor，可能是缓存的意思，具体是什么意思，等我清楚了再给大家解释。

（2）任意大小的表，有很多要精确查询的列，建议先按照最常使用的列进行排序再进行查询。

（3）大表但是又需要和另外的的大表做连接，建议先通过连接列做排序和bucket。

（4）大表，但只是利用到其中某些常用的值，可以把常用的值弄个单独的skew中。

（5）大表但是有一些自然边界，比如日期的，建议利用日期进行分区。

Map Join开启

我们可以启用连接自动转换来帮助我们转换，在执行语句之前设置一下即可。它是经过优化的Map Join，无reducer。

set hive.auto.convert.join=true;
set hive.auto.convert.join.noconditionaltask = true;
set hive.auto.convert.join.noconditionaltask.size = 10000;

Skew Join

真实数据中数据倾斜是一定的, hadoop 中默认是使用

hive.exec.reducers.bytes.per.reducer = 1000000000

也就是每个节点的reduce 默认是处理1G大小的数据，如果你的join 操作也产生了数据倾斜，那么你可以在hive 中设定

set hive.optimize.skewjoin = true; 
set hive.skewjoin.key = skew_key_threshold （default = 100000）

hive 在运行的时候没有办法判断哪个key 会产生多大的倾斜，所以使用这个参数控制倾斜的阈值，如果超过这个值，新的值会发送给那些还没有达到的reduce, 一般可以设置成你

（处理的总记录数/reduce个数）的2-4倍都可以接受.

倾斜是经常会存在的，一般select 的层数超过2层，翻译成执行计划多于3个以上的mapreduce job 都很容易产生倾斜，建议每次运行比较复杂的sql 之前都可以设一下这个参数. 如果你不知道设置多少，可以就按官方默认的1个reduce 只处理1G 的算法，那么 skew_key_threshold = 1G/平均行长. 或者默认直接设成250000000 (差不多算平均行长4个字节)

Sort-Merge-Bucket Join

如果表已经排序并且已经bucketed，可以启用SMB joins

set hive.auto.convert.sortmerge.join=true;
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set hive.auto.convert.sortmerge.join.noconditionaltask=true;
set hive.auto.convert.sortmerge.join.bigtable.selection.policy     
= org.apache.hadoop.hive.ql.optimizer.TableSizeBasedBigTableSelectorForAutoSMJ;

微信关注我们

原文链接：https://yq.aliyun.com/articles/60179

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapReduce 学习(一)

首先我们先来欣赏一下MapReduce的执行过程吧，如下图，自己看，不解释了。 Map 和 Reduce 的处理都是基于Key/Value来进行的，在Map中对文件的每一行进行处理，有两个输入参数，KeyInput，ValueInput，然后有两个输出，KeyOut，ValueOut，在Map执行之后有个Combiner，负责把多个Map传过来的Key相同的Value生成一个Iterable接口的集合，也可以自己指定一个Combiner，可以提高性能，要慎用，经过Combiner处理之后，就把处理过的内容传给Reduce，这是个一对一的过程，Reduce的输出也是KeyOut，ValueOut，最后是输出到文件，这里还有一个Partitiner，实现它可以把输出分别写到多个文件上，否则将会把所有reduce产生的文件输出到一个文件当中，好，我们来看一下下面这个图，大家就可以有一个更直观的感受了！好啦，理论就讲到这里。

2016-09-07

691

接着上一章我们讲的hive的连接策略，现在我们讲一下hive的数据存储。下面是hive支持的数据存储格式，有我们常见的文本，JSON，XML，这里我们主要讲一下ORCFile。 Built-in Formats: – ORCFile – RCFile – Avro – Delimited Text – Regular Expression – S3 Logfile – Typed Bytes • 3 rd -Party Addons: – JSON – XML 这种格式非常适合HDFS，它有以下的优点： •高压缩 – 高压缩比. – 字典编码. •高性能 – 自带索引. – 高效的精确查询. • 灵活的数据模型 – 支持所有的hive类型，包括maps. 从图中可以看出，orc格式的文件存储大小仅为文本的30%左右，比gz格式的都小，采用zlib压缩的话，更小，仅有22%左右。使用orc格式存储的方式很简单，在建表的时候STORED AS orc即可 CREATE TABLE sale( id int, timestamp timestamp, productsk int, st...

2016-09-07

732

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。