spark源码系列文章------shuffle模块详解-低调大师

spark源码系列文章------shuffle模块详解

2017-07-18 553

一、Basic shuffle writer实现解析

在Executor上执行shuffle Map Task时，最终会调用shuffleMapTask的runTask，核心逻辑如下：

1.从sparkEnv中获得shuffleManager；

2.从manager中获得writer

3.调用RDD开始计算，运算结果通过writer进行持久化，持久化之前通过Aggregator来确定是否需要进行Map端聚合，然后将结果通过FileShuffleManager#forMapTask的方法写入，写入完成后，会将元数据信息写入MapStatus，然后下游的Task可以通过这个MapStatus取得需要处理的数据。

这样writer通过ShuffleDependency#partitioner来获得下游partition的数量，下游的每个partition都会对应一个文件，文件名字的格式为：“shuffle_”+shuffledId+"_"+mapId+"_"+reduceId。

由于每个shuffle Map Task需要为每个下游的Task创建一个单独的文件，因此文件的数量就是number(shuffle_map_task)*number(following_task)。这样会导致创建和打开许多文件。

后来spark又引入Shuffle Consolidate Writer，原理是core上的第一个Task创建一个文件，该core上的后面的Task的shuffle操作都追加写入改文件，这样文件数量number(core)*number(following_task) 。

//todo

微信关注我们

原文链接：https://yq.aliyun.com/articles/134290

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

零售业如何用Hadoop开启大数据之门？

在过去几年，全球零售商一直试图利用大数据创造价值。由于其大数据分析基础架构的限制，许多工作被一再推迟。Hadoop为这些零售商打开了新的大门，它可以解决他们在过去几年在大数据领域面临的许多问题和挑战。 Hadoop：跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的。核心代码主要是用Java编写的，但有一些是用C编写的。然而，它运行在一个称为MapReduce的编程模型中，这允许开发人员用其他语言创建新的Hadoop代码。由于MapReduce环境可以接受不同的编程语言代码，因此它非常通用。它可以提取，分析和操作许多不同来源的大数据。它使用各种算法来进行关联规则学习，聚类，分类和回归。这些算法依赖于各种函数，包括贝叶斯，期望最大化和FP-Grown算法。 Cloudera的首席执行官Mike Olson表示，Hadoop目前仍处于起步阶段，但它已经在塑造零售和金融领域厂商使用大数据的方式了。 “Hadoop平台旨在解决大量数据(可能是复杂的和结构化的，并且不能很好地融入表中的数据)的混合问题。它适用于深度和计算量大的分析，例如聚类和定位.....

2017-07-19

484

Image 1. Concept of Dynamic Tables The concept of dynamic tables is analogous to the materialized view in a database. Similar to static batch tables, dynamic tables enable Structured Query Language (SQL) queries and form a new dynamic table with lossless inter-conversions (dual) between streams. The key to improving the existing application program interface (API) lies

2017-07-20

511

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。