Spark 概念学习系列之Spark相比Hadoop MapReduce的特点（二）-低调大师

Spark 概念学习系列之Spark相比Hadoop MapReduce的特点（二）

2017-11-02 597

Spark相比Hadoop MapReduce的特点

（1）中间结果输出
基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。出于任务管道承接的考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage，而这些串联的Stage又依赖于底层文件系统（如HDFS）来存储每一个Stage的输出结果。Spark将执行模型抽象为通用的有向无环图执行计划（DAG），这可以将多Stage的任务串联或者并行执行，而无须将Stage中间结果输出到HDFS中。类似的引擎包括Dryad、Tez。

（2）数据格式和内存布局

由于MapReduce Schema on Read处理方式会引起较大的处理开销。 Spark抽象出分布式内存存储结构弹性分布式数据集RDD，进行数据的存储。 RDD能支持粗粒度写操作，但对于读取操作，RDD可以精确到每条记录，这使得RDD可以用来作为分布式索引。 Spark的特性是能够控制数据在不同节点上的分区，用户可以自定义分区策略，如Hash分区等。 Shark和Spark SQL在Spark的基础之上实现了列存储和列存储压缩。

（3）执行策略
在数据Shuffle之前花费了大量的时间来排序，Spark则可减轻上述问题带来的开销。因为Spark任务在Shuffle中不是所有情景都需要排序，所以支持基于Hash的分布式聚合，调度中采用更为通用的任务执行计划图（DAG），每一轮次的输出结果在内存缓存。

（4）任务调度的开销
传统的MapReduce系统，如Hadoop，是为了运行长达数小时的批量作业而设计的，在某些极端情况下，提交一个任务的延迟非常高。Spark采用了事件驱动的类库AKKA来启动任务，通过线程池复用线程来避免进程或线程启动和切换开销。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5706933.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371362

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark RDD概念学习系列之RDD的操作（七）

RDD的操作　 RDD支持两种操作：转换和动作。 1）转换，即从现有的数据集创建一个新的数据集。 2）动作，即在数据集上进行计算后，返回一个值给Driver程序。例如，map就是一种转换，它将数据集每一个元素都传递给函数，并返回一个新的分布式数据集表示结果。另一个方面，reduce是一种动作，通过一些函数将所有元素叠加起来，并将最终结果返回Driver（还有一个并行的reduceByKey，能返回一个分布式数据集）。下图描述了从外部数据源创建RDD，经过多次转换，通过一个动作操作将结果写回外部存储系统的逻辑运行图。整个过程的计算都是在Worker中的Executor中运行。图 1　RDD的创建、转换和动作的逻辑计算图 RDD的转换 RDD中的所有转换都是惰性的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这个设计让Spark更加有效率地运行。例如我们可以实现：通过map创建的一个新数据集，并在reduce中使用，最终只返回re...

2017-11-03

636

10月12日，德国慕尼黑，英伟达 GTC 大会。惠普 HPE 向来自全球的开发者和厂商，展示了世界上首个面向企业级用户的人工智能软硬件解决方案，而在 HPE 的高性能计算硬件上搭载的，是吴韧所创立的 NovuMind 历时两年研发出来的深度学习训练平台。吴韧先后担任AMD异构系统首席软件架构师，惠普实验室 CUDA 研究中心首席研究员，百度公司杰出的科学家，两年前，他决定创业，致力于打造“ASIC芯片＋训练模型”的全栈式AI解决方案。两年过去，吴韧出现在鲜有中国面孔的 GTC 欧洲大会上，带着业界最快的深度学习训练平台高调亮相，雷锋网独家专访吴韧博士，看看这位曾经名动一时的计算机博弈专家现在在做什么？一家公司：NovuMind 2015年8月，卸下“百度杰出科学家”光环的吴韧回到硅谷，并未用多少时间，便说服了芯片大拿Chien-P

2017-11-03

671

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。