深入理解Spark：核心思想与源码分析. 2.5　小结-低调大师

深入理解Spark：核心思想与源码分析. 2.5　小结

2017-05-01 567

2.5　小结

每项技术的诞生都会由某种社会需求所驱动，Spark正是在实时计算的大量需求下诞生的。Spark借助其优秀的处理能力、可用性高、丰富的数据源支持等特点，在当前大数据领域变得火热，参与的开发者也越来越多。Spark经过几年的迭代发展，如今已经提供了丰富的功能。笔者相信，Spark在未来必将产生更耀眼的火花。

微信关注我们

原文链接：https://yq.aliyun.com/articles/82155

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop MapReduce性能优化》一1.1　MapReduce模型

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第1章，第1.1节，作者：【法】Khaled Tannir 译者：范欢动责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.1　MapReduce模型 Hadoop MapReduce性能优化MapReduce编程模型的设计目标是，使用普通硬件的大型集群处理非结构化数据并产生大规模数据集。它能够在数千个计算节点的集群上处理TB级的数据，进行故障处理，完成任务复制并聚合最终结果。 MapReduce模型简单易懂。它是由Google研究院的工程师在21世纪初设计的（http://research.google.com/archive/mapreduce.html）。这一模型包含两个可以在多台机器上并行执行的函数：一个map函数和一个reduce函数。要使用MapReduce，程序员需要编写一个用户定义的map函数和一个（同样是用户定义的）reduce函数来表示期望的计算逻辑。map函数读取键值对，执行用户指定的代码，产生中间结果。然后，通过reduce函数的用户指定代码聚合中间结果并输出最终...

2017-05-02

554

本节书摘来异步社区《MapReduce设计模式》一书中的第1章，第1.1节，作者：【美】Donald Miner , Adam Shook 译者：徐钊 , 赵重庆责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。第1章设计模式与MapReduce MapReduce设计模式MapReduce是处理数据分布在数百台机器上的计算框架，近些年来，随着其在Google、Hadoop及其他一些系统中的应用而越来越流行起来。这个计算框架超乎寻常地强大，但它并不是一种针对“大数据”问题的通用解决方案，因此，虽然可以很好地适用于一些问题，但对有些问题来说，解决起来还是非常具有挑战性的。本书将介绍哪些问题适合使用MapReduce计算框架来解决，以及如何高效地使用MapReduce计算框架。很多初步了解MapReduce的开发者可能没有意识到，MapReduce不仅仅是一个工具，更是一个框架。我们必须拿问题解决方案去适配框架的map和reduce过程，在很多情况下，这个适配过程将非常具有挑战性。MapReduce更多的是一种约束，而不是一个单独的功能。这使得问题的解决变得...

2017-05-02

587

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。