hive中的排序和分组-低调大师

hive中的排序和分组

2017-10-24 536

order by

order by 会对输入坐全局排序,因此只有一个reducer(多个reducer会无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间.

set hive.mapred.mode =nonstrict;(default value/默认值)

set hive.mapred.mode =strict;

order by 和数据库中的order by 功能一致,按照某一项或几项的排序输出.

与数据库中order by 的区别在于在 hive.mapred.mode=strict 模式下必须指定limit 否则执行会报错.

hive>select * from test order by id;

FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'
原因:在order by 状态下所有数据回到一台服务器进行reduce 操作也只有一个reduce,如果在数据量大的情况下会出现无法输出结果的情况,如果进行limit N 那只有 N*map number条记录而已.只有一个reduce也可以处理过来.

sort by

sort by 不是全局排序,其在数据进入reducer前完成排序.

因此,如果用sort by 进行排序,并且排序mapred.reduce.tasks>1 则sort by 只保证每个reducer的输出有序不会保证全局的有序.

sort by 不受 hive.mapred.mode 是否为 stric ,nostrict 的影响

sort by 的数据只能保证在同一个reduce中的数据可以按指定字段排序.

使用sort by 你可以制定执行的reduce个数 (set mapred.reduce.tesks=<number>),对数的数据在执行归并排序,即可得到全部结果.

注意:乐意用limit子句大大减少数据量使用limit n 后传输到reduce 端 (单机) 的数据记录数量减少到n*(map个数)否则由于数据过大可能出不了结果.

distribute by

按照指定的字段对数据进行划分到不同的输出 reduce / 文件中

insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);

此方法会根据name的长度划分到不同的reduce中 ,最终输出到不同的文件中

leng 是内建函数也可以指定其他函数或者使用自定义函数

cluster by

cluster by 除具有 distribute by 的功能外还兼具 sort by的功能

但是排序只能是倒排序不能指定排序规则为asc 或者desc.

微信关注我们

原文链接：https://yq.aliyun.com/articles/226986

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一脸懵逼学习HBase的搭建（注意HBase的版本）

1：Hdfs分布式文件系统存的文件，文件存储。 2：Hbase是存储的数据，海量数据存储，作用是缓存的数据，将缓存的数据满后写入到Hdfs中。 3：hbase集群中的角色：（1）、一个或者多个主节点，Hmaster；（2）、多个从节点，HregionServer； 1：由于HBase依赖hdfs，所以下载的时候注意HBase的版本：注：我使用的是hadoop2.4版本的，所以HBase选择支持2版本的：hbase-0.96.2-hadoop2-bin.tar.gz 2：上传hbase安装包，上传到一台机器即可：建议：自己规划一下自己的机器，最好是独立的，再搞两台机器最好，　如果不想搞更多的机器，这里放到启动yarn进程的机器上：　如我的slaver5，slaver6（master节点，slaver1节点，slaver2节点安装Region Server，slaver5，slaver6安装Master ），　这样负载比较好点，自己电脑吃得消；过程省略，上传结果如下所示； 2：解压缩刚才上传的hbase-0.96.2-hadoop2-bin.tar.gz： [root@sl...

2017-10-24

527

相比传统的方式存储引擎,列式存储引擎具有更高的压缩比,更少的IO操作而备受青睐,尤其是在数据列column数很多,单词操作仅针对若干列的情景,列式存储引擎的性价比更高.在互联网数据应用场景下,大部分情况下,数据很大且数据字段很多,但每次查询数据只针对其中的少数几行,这时候列式存储是极佳的选择,目前在开源实现中,最有名的列式存储引擎parquet 和orc ,在最近一年内,他们都晋升apache顶级项目可见它的重要性,本文尝试比较这两种存储引擎. Apache Parquet源自google Dremel 系统,Parquet 相当一Dremel中的数据存储引擎,而Apache顶级开源醒目 Drill正式Dremel的开源实现.Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer thrift json 等将这类数据存储成列式格式以方便对其高效压缩和编码,且使用更少的IO操作取出需要的数据,也是Parquet 相比于ORC的优势,它能透明的将protobuf 和thrift被广泛的使用的今天,于parquet 进行集成,是一件非常容易和自然地...

2017-10-24

979

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。