hive中的排序和分组-低调大师

hive中的排序和分组

2017-10-24 496

order by

order by 会对输入坐全局排序,因此只有一个reducer(多个reducer会无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间.

set hive.mapred.mode =nonstrict;(default value/默认值)

set hive.mapred.mode =strict;

order by 和数据库中的order by 功能一致,按照某一项或几项的排序输出.

与数据库中order by 的区别在于在 hive.mapred.mode=strict 模式下必须指定limit 否则执行会报错.

hive>select * from test order by id;

FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'
原因:在order by 状态下所有数据回到一台服务器进行reduce 操作也只有一个reduce,如果在数据量大的情况下会出现无法输出结果的情况,如果进行limit N 那只有 N*map number条记录而已.只有一个reduce也可以处理过来.

sort by

sort by 不是全局排序,其在数据进入reducer前完成排序.

因此,如果用sort by 进行排序,并且排序mapred.reduce.tasks>1 则sort by 只保证每个reducer的输出有序不会保证全局的有序.

sort by 不受 hive.mapred.mode 是否为 stric ,nostrict 的影响

sort by 的数据只能保证在同一个reduce中的数据可以按指定字段排序.

使用sort by 你可以制定执行的reduce个数 (set mapred.reduce.tesks=<number>),对数的数据在执行归并排序,即可得到全部结果.

注意:乐意用limit子句大大减少数据量使用limit n 后传输到reduce 端 (单机) 的数据记录数量减少到n*(map个数)否则由于数据过大可能出不了结果.

distribute by

按照指定的字段对数据进行划分到不同的输出 reduce / 文件中

insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);

此方法会根据name的长度划分到不同的reduce中 ,最终输出到不同的文件中

leng 是内建函数也可以指定其他函数或者使用自定义函数

cluster by

cluster by 除具有 distribute by 的功能外还兼具 sort by的功能

但是排序只能是倒排序不能指定排序规则为asc 或者desc.

微信关注我们

原文链接：https://yq.aliyun.com/articles/226986

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一脸懵逼学习HBase的搭建（注意HBase的版本）

1：Hdfs分布式文件系统存的文件，文件存储。 2：Hbase是存储的数据，海量数据存储，作用是缓存的数据，将缓存的数据满后写入到Hdfs中。 3：hbase集群中的角色：（1）、一个或者多个主节点，Hmaster；（2）、多个从节点，HregionServer； 1：由于HBase依赖hdfs，所以下载的时候注意HBase的版本：注：我使用的是hadoop2.4版本的，所以HBase选择支持2版本的：hbase-0.96.2-hadoop2-bin.tar.gz 2：上传hbase安装包，上传到一台机器即可：建议：自己规划一下自己的机器，最好是独立的，再搞两台机器最好，　如果不想搞更多的机器，这里放到启动yarn进程的机器上：　如我的slaver5，slaver6（master节点，slaver1节点，slaver2节点安装Region Server，slaver5，slaver6安装Master ），　这样负载比较好点，自己电脑吃得消；过程省略，上传结果如下所示； 2：解压缩刚才上传的hbase-0.96.2-hadoop2-bin.tar.gz： [root@sl...

2017-10-25

475

相比传统的方式存储引擎,列式存储引擎具有更高的压缩比,更少的IO操作而备受青睐,尤其是在数据列column数很多,单词操作仅针对若干列的情景,列式存储引擎的性价比更高.在互联网数据应用场景下,大部分情况下,数据很大且数据字段很多,但每次查询数据只针对其中的少数几行,这时候列式存储是极佳的选择,目前在开源实现中,最有名的列式存储引擎parquet 和orc ,在最近一年内,他们都晋升apache顶级项目可见它的重要性,本文尝试比较这两种存储引擎. Apache Parquet源自google Dremel 系统,Parquet 相当一Dremel中的数据存储引擎,而Apache顶级开源醒目 Drill正式Dremel的开源实现.Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer thrift json 等将这类数据存储成列式格式以方便对其高效压缩和编码,且使用更少的IO操作取出需要的数据,也是Parquet 相比于ORC的优势,它能透明的将protobuf 和thrift被广泛的使用的今天,于parquet 进行集成,是一件非常容易和自然地...

2017-10-25

926

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。