spark源码系列文章------shuffle模块详解-低调大师

spark源码系列文章------shuffle模块详解

2017-07-18 719

一、Basic shuffle writer实现解析

在Executor上执行shuffle Map Task时，最终会调用shuffleMapTask的runTask，核心逻辑如下：

1.从sparkEnv中获得shuffleManager；

2.从manager中获得writer

3.调用RDD开始计算，运算结果通过writer进行持久化，持久化之前通过Aggregator来确定是否需要进行Map端聚合，然后将结果通过FileShuffleManager#forMapTask的方法写入，写入完成后，会将元数据信息写入MapStatus，然后下游的Task可以通过这个MapStatus取得需要处理的数据。

这样writer通过ShuffleDependency#partitioner来获得下游partition的数量，下游的每个partition都会对应一个文件，文件名字的格式为：“shuffle_”+shuffledId+"_"+mapId+"_"+reduceId。

由于每个shuffle Map Task需要为每个下游的Task创建一个单独的文件，因此文件的数量就是number(shuffle_map_task)*number(following_task)。这样会导致创建和打开许多文件。

后来spark又引入Shuffle Consolidate Writer，原理是core上的第一个Task创建一个文件，该core上的后面的Task的shuffle操作都追加写入改文件，这样文件数量number(core)*number(following_task) 。

//todo

微信关注我们

原文链接：https://yq.aliyun.com/articles/134290

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

零售业如何用Hadoop开启大数据之门？

在过去几年，全球零售商一直试图利用大数据创造价值。由于其大数据分析基础架构的限制，许多工作被一再推迟。Hadoop为这些零售商打开了新的大门，它可以解决他们在过去几年在大数据领域面临的许多问题和挑战。 Hadoop：跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的。核心代码主要是用Java编写的，但有一些是用C编写的。然而，它运行在一个称为MapReduce的编程模型中，这允许开发人员用其他语言创建新的Hadoop代码。由于MapReduce环境可以接受不同的编程语言代码，因此它非常通用。它可以提取，分析和操作许多不同来源的大数据。它使用各种算法来进行关联规则学习，聚类，分类和回归。这些算法依赖于各种函数，包括贝叶斯，期望最大化和FP-Grown算法。 Cloudera的首席执行官Mike Olson表示，Hadoop目前仍处于起步阶段，但它已经在塑造零售和金融领域厂商使用大数据的方式了。 “Hadoop平台旨在解决大量数据(可能是复杂的和结构化的，并且不能很好地融入表中的数据)的混合问题。它适用于深度和计算量大的分析，例如聚类和定位.....

2017-07-18

638

Image 1. Concept of Dynamic Tables The concept of dynamic tables is analogous to the materialized view in a database. Similar to static batch tables, dynamic tables enable Structured Query Language (SQL) queries and form a new dynamic table with lossless inter-conversions (dual) between streams. The key to improving the existing application program interface (API) lies

2017-07-19

651

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。