HIVE TopN shuffle 原理-低调大师

HIVE TopN shuffle 原理

2019-03-20 832

HIVE TopN Shuffle

TopN 问题是排序中的一个经典问题。对于一个长度为 m 的数组，取其最大的 n (n <= m) 条数据，可以不必对整个数组进行全排。一般的算法对 m 进行全排的复杂度大约为 mlog2(m)。假设我们只取其中最大的 n 条，那么可以把这个复杂度降低到 m * log2(n)。如果 n << m，那么收益还是很大的。

HIVE-3562 引入了一个针对 TopN 的优化，即将带有 limit 算子的 order by 推至 map 端，这样 map 不必将所有数据 shuffle 到 reduce。order by 和 limit 算子在日常使用场景中经常一起出现，因此这个优化就显得很有必要。

抛开 limit 是如何下推的不管，我们这里只关注 ReduceSinkOperator

微信关注我们

原文链接：https://yq.aliyun.com/articles/694756

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

企业级性能、安全可靠阿里云发布企业级大数据平台开发者版

3月20日，阿里云宣布推出企业级大数据计算平台MaxCompute开发者版。该版本基于MaxCompute原有的分布式架构，具备高可靠、企业级安全能力、全面融合开源等特点，可轻松做到开箱即用，分钟级拥有大数据开发项目，帮助开发者突破技术壁垒，降低门槛和成本，提高大数据开发效率，实现个人技术能力和业务的快速增长。 MaxCompute作为阿里巴巴的通用计算平台，承担了阿里巴巴集团99%的数据存储和95%的统一计算，每天有超过18000名阿里巴巴内部的开发者在这个平台上进行开发，几乎涵盖阿里内部所有的数据体系。同时，MaxCompute在云上服务着上万家客户，客户遍及全球各主要市场的金融、互联网、生物医疗、能源、交通，传媒等行业。开箱即用的在线服务Severless在线服务，无需关心基础设施与软件运维，开通即可使用完整的平台服务。计算与

2019-03-20

589

阅读本文大概需要 2.7 分钟。每年年初都是企业的招聘旺季，对应的三四月份绝对跳槽、找工作的好时机，业内经常称呼这两个月为金三银四。实力雄厚的人，那个月找工作问题都不大，但是也会尽量挑选个好时机，能有更多的选择。上次就有大兄弟在后台给我留言，应该是位大学生，让我写篇关于编写简历的注意事项，乘着这个跳槽季，来盘盘简历有哪些注意事项。首先一些细节需要注意下： 1. 简历一般使用A4纸打印，内容控制在两页，太长给面试官的印象抓不住重点，太短经验比较缺乏。 2. 简历模板不要太花哨，简单点就行。一般来说企业不会特别在意你的简历模板，只要排版简洁、清晰、不花哨、不夸张就行了，除非你是去应聘设计之类的岗位。所以我不建议把花费太多精力在模板上，选择一份自己看着舒服的就行。 3. 简历上的排版也要稍微注意下，比如必要的间距可以让阅读者更加清晰的阅读，英文、数字与中文之间加一个空格，不要有错别字。还有个人觉得很重要的一点，技术栈千万不要把大小写搞错了，比如「SpringMVC」写成「Springmvc」，不知道大小写的去百度百科查查。这些小细节虽然不影响大体，但是尽量也都注意下。其次，一般来说，...

2019-03-21

510

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

HIVE TopN shuffle 原理