剖析Hadoop和Spark的Shuffle过程差异（一）-低调大师

剖析Hadoop和Spark的Shuffle过程差异（一）

2019-03-05 617

一、前言

对于基于MapReduce编程范式的分布式计算来说，本质上而言，就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想，让每个节点只计算部分数据，也就是只处理一个分片，那么要想求得某个key对应的全量数据，那就必须把相同key的数据汇集到同一个Reduce任务节点来处理，那么Mapreduce范式定义了一个叫做Shuffle的过程来实现这个效果。

二、编写本文的目的

本文旨在剖析Hadoop和Spark的Shuffle过程，并对比两者Shuffle的差异。

三、Hadoop的Shuffle过程

Shuffle描述的是数据从Map端到Reduce端的过程，大致分为排序（sort）、溢写（spill）、合并（merge）、拉取拷贝（Copy）、合并排序（merge sort）这几个过程，大体流程如下：

上图的Map的输出的文件被分片为红绿蓝三个分片，这个分片的就是根据Key为条件来分片的，分片算法可以自己实现，例如Hash、Range等，最终Reduce任务只拉取对应颜色的数据来进行处理，就实现把相同的Key拉取到相同的Reduce节点处理的功能。下面分开来说Shuffle的的各个过程。

Map端做了下图所示的操作：

1、Map端sort

Map端的输出数据，先写环形缓存区kvbuffer，当环形缓冲区到达一个阀值（可以通过配置文件设置，默认80），便要开始溢写，但溢写之前会有一个sort操作，这个sort操作先把Kvbuffer中的数据按照partition值和key两个关键字来排序，移动的只是索引数据，排序结果是Kvmeta中数据按照partition为单位聚集在一起，同一partition内的按照key有序。

2、spill（溢写）

当排序完成，便开始把数据刷到磁盘，刷磁盘的过程以分区为单位，一个分区写完，写下一个分区，分区内数据有序，最终实际上会多次溢写，然后生成多个文件

3、merge(合并)

spill会生成多个小文件，对于Reduce端拉取数据是相当低效的，那么这时候就有了merge的过程，合并的过程也是同分片的合并成一个片段（segment），最终所有的segment组装成一个最终文件，那么合并过程就完成了,如下图所示

至此，Map的操作就已经完成，Reduce端操作即将登场

Reduce操作

总体过程如下图的红框处：

1、拉取拷贝（fetch copy）

Reduce任务通过向各个Map任务拉取对应分片。这个过程都是以Http协议完成，每个Map节点都会启动一个常驻的HTTP server服务，Reduce节点会请求这个Http Server拉取数据，这个过程完全通过网络传输，所以是一个非常重量级的操作。

2、合并排序

Reduce端，拉取到各个Map节点对应分片的数据之后，会进行再次排序，排序完成，结果丢给Reduce函数进行计算。

四、总结

至此整个shuffle过程完成，最后总结几点：

1、shuffle过程就是为了对key进行全局聚合

2、排序操作伴随着整个shuffle过程，所以Hadoop的shuffle是sort-based的

微信关注我们

原文链接：https://my.oschina.net/u/1778239/blog/3018432

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flutter工程解析篇 + 工程代码部分解析记录

在上一篇我们搭建flutter环境之后，并且创建了一个HelloFlutter我们的第一个demo，接下来让我们看一看flutter的工程目录以及创建项目运行代码的部分解析。首先工程目录如下：主要分为四个部分，第一个部分是Android，第二个部分是iOS，第三个部分是类似build.gradle的配置文件pubspec.yaml，第四个部分是lib文件夹，里面存放我们编写的基于dart语言的源代码，前两个部分不会涉及到，我们主要是写dart来实现跨平台。那我们接下来看一下lib下面有一个main.dart的文件，打开之后如下：首先看 void main() => runApp(MyApp()); 这是程序的入口函数，进来首先会调用runApp方法，这里用到了=>箭头函数和如下格式类似： main(){ return new MyApp(); } Dart中的箭头函数，跟kotlin很像。其实=> runApp(MyApp()); 等同于 { return new MyApp(); } 那说到这里就要说一下dart的匿名函数和=>箭头函数是怎么声...

2019-03-05

729

OKR与敏捷开发的原理有着相似之处，但已经使用敏捷的团队再用OKR感觉会显得多余。这种误解的根源就在于对这两种模式不够了解，运用得当的情况下，OKR和敏捷可以形成强强联合的效果，他们可以创造出以价值为驱动的团队，改变团队的工作方式。本文第二部分介绍了如何实现全栈敏捷。回顾第一部分请点这里：系列文章｜OKR与敏捷（一）：瀑布式目标与敏捷的冲突全栈敏捷想要实现业务的敏捷性，公司需要确保各层级的敏捷性。以此来替换公司传统组织架构的各个层级：在全栈敏捷中，组织各个层级的架构转变为：文化以激发团队的自我驱动力为基础。不再控制各团队详细的计划，而是以公司使命为总纲统领全局。领导们只需“明确最终结果和目的，尽可能减少对团队的约束。” 战略以数据为驱动，动态迭代并侧重验证假设。目标将遵循敏捷模式，使用OKR。策略运行‘故障检测’实验，形成较短反馈周期。运营则使用敏捷开发模式。图为Worktile敏捷开发示意图重构组织债务技术债是大多数软件工程师都熟知的问题。技术债的来源主要是团队想走捷径，而技术债将导致代码难以更改且无法扩展。技术债是要偿还的，并且还有利息。为了解决技术债...

2019-03-06

890

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。