HIVE TopN shuffle 原理-低调大师

HIVE TopN shuffle 原理

2019-03-20 764

HIVE TopN Shuffle

TopN 问题是排序中的一个经典问题。对于一个长度为 m 的数组，取其最大的 n (n <= m) 条数据，可以不必对整个数组进行全排。一般的算法对 m 进行全排的复杂度大约为 mlog2(m)。假设我们只取其中最大的 n 条，那么可以把这个复杂度降低到 m * log2(n)。如果 n << m，那么收益还是很大的。

HIVE-3562 引入了一个针对 TopN 的优化，即将带有 limit 算子的 order by 推至 map 端，这样 map 不必将所有数据 shuffle 到 reduce。order by 和 limit 算子在日常使用场景中经常一起出现，因此这个优化就显得很有必要。

抛开 limit 是如何下推的不管，我们这里只关注 ReduceSinkOperator

微信关注我们

原文链接：https://yq.aliyun.com/articles/694756

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

企业级性能、安全可靠阿里云发布企业级大数据平台开发者版

3月20日，阿里云宣布推出企业级大数据计算平台MaxCompute开发者版。该版本基于MaxCompute原有的分布式架构，具备高可靠、企业级安全能力、全面融合开源等特点，可轻松做到开箱即用，分钟级拥有大数据开发项目，帮助开发者突破技术壁垒，降低门槛和成本，提高大数据开发效率，实现个人技术能力和业务的快速增长。 MaxCompute作为阿里巴巴的通用计算平台，承担了阿里巴巴集团99%的数据存储和95%的统一计算，每天有超过18000名阿里巴巴内部的开发者在这个平台上进行开发，几乎涵盖阿里内部所有的数据体系。同时，MaxCompute在云上服务着上万家客户，客户遍及全球各主要市场的金融、互联网、生物医疗、能源、交通，传媒等行业。开箱即用的在线服务Severless在线服务，无需关心基础设施与软件运维，开通即可使用完整的平台服务。计算与

2019-03-21

534

阅读本文大概需要 2.7 分钟。每年年初都是企业的招聘旺季，对应的三四月份绝对跳槽、找工作的好时机，业内经常称呼这两个月为金三银四。实力雄厚的人，那个月找工作问题都不大，但是也会尽量挑选个好时机，能有更多的选择。上次就有大兄弟在后台给我留言，应该是位大学生，让我写篇关于编写简历的注意事项，乘着这个跳槽季，来盘盘简历有哪些注意事项。首先一些细节需要注意下： 1. 简历一般使用A4纸打印，内容控制在两页，太长给面试官的印象抓不住重点，太短经验比较缺乏。 2. 简历模板不要太花哨，简单点就行。一般来说企业不会特别在意你的简历模板，只要排版简洁、清晰、不花哨、不夸张就行了，除非你是去应聘设计之类的岗位。所以我不建议把花费太多精力在模板上，选择一份自己看着舒服的就行。 3. 简历上的排版也要稍微注意下，比如必要的间距可以让阅读者更加清晰的阅读，英文、数字与中文之间加一个空格，不要有错别字。还有个人觉得很重要的一点，技术栈千万不要把大小写搞错了，比如「SpringMVC」写成「Springmvc」，不知道大小写的去百度百科查查。这些小细节虽然不影响大体，但是尽量也都注意下。其次，一般来说，...

2019-03-22

460

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

HIVE TopN shuffle 原理