HIVE TopN shuffle 原理-低调大师

HIVE TopN shuffle 原理

2019-03-20 744

HIVE TopN Shuffle

TopN 问题是排序中的一个经典问题。对于一个长度为 m 的数组，取其最大的 n (n <= m) 条数据，可以不必对整个数组进行全排。一般的算法对 m 进行全排的复杂度大约为 mlog2(m)。假设我们只取其中最大的 n 条，那么可以把这个复杂度降低到 m * log2(n)。如果 n << m，那么收益还是很大的。

HIVE-3562 引入了一个针对 TopN 的优化，即将带有 limit 算子的 order by 推至 map 端，这样 map 不必将所有数据 shuffle 到 reduce。order by 和 limit 算子在日常使用场景中经常一起出现，因此这个优化就显得很有必要。

抛开 limit 是如何下推的不管，我们这里只关注 ReduceSinkOperator

微信关注我们

原文链接：https://yq.aliyun.com/articles/694756

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

企业级性能、安全可靠阿里云发布企业级大数据平台开发者版

3月20日，阿里云宣布推出企业级大数据计算平台MaxCompute开发者版。该版本基于MaxCompute原有的分布式架构，具备高可靠、企业级安全能力、全面融合开源等特点，可轻松做到开箱即用，分钟级拥有大数据开发项目，帮助开发者突破技术壁垒，降低门槛和成本，提高大数据开发效率，实现个人技术能力和业务的快速增长。 MaxCompute作为阿里巴巴的通用计算平台，承担了阿里巴巴集团99%的数据存储和95%的统一计算，每天有超过18000名阿里巴巴内部的开发者在这个平台上进行开发，几乎涵盖阿里内部所有的数据体系。同时，MaxCompute在云上服务着上万家客户，客户遍及全球各主要市场的金融、互联网、生物医疗、能源、交通，传媒等行业。开箱即用的在线服务Severless在线服务，无需关心基础设施与软件运维，开通即可使用完整的平台服务。计算与

2019-03-21

509

阅读本文大概需要 2.7 分钟。每年年初都是企业的招聘旺季，对应的三四月份绝对跳槽、找工作的好时机，业内经常称呼这两个月为金三银四。实力雄厚的人，那个月找工作问题都不大，但是也会尽量挑选个好时机，能有更多的选择。上次就有大兄弟在后台给我留言，应该是位大学生，让我写篇关于编写简历的注意事项，乘着这个跳槽季，来盘盘简历有哪些注意事项。首先一些细节需要注意下： 1. 简历一般使用A4纸打印，内容控制在两页，太长给面试官的印象抓不住重点，太短经验比较缺乏。 2. 简历模板不要太花哨，简单点就行。一般来说企业不会特别在意你的简历模板，只要排版简洁、清晰、不花哨、不夸张就行了，除非你是去应聘设计之类的岗位。所以我不建议把花费太多精力在模板上，选择一份自己看着舒服的就行。 3. 简历上的排版也要稍微注意下，比如必要的间距可以让阅读者更加清晰的阅读，英文、数字与中文之间加一个空格，不要有错别字。还有个人觉得很重要的一点，技术栈千万不要把大小写搞错了，比如「SpringMVC」写成「Springmvc」，不知道大小写的去百度百科查查。这些小细节虽然不影响大体，但是尽量也都注意下。其次，一般来说，...

2019-03-22

440

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

HIVE TopN shuffle 原理