《MapReduce设计模式》一1.2　MapReduce简史-低调大师

《MapReduce设计模式》一1.2　MapReduce简史

2017-05-01 585

本节书摘来异步社区《MapReduce设计模式》一书中的第1章，第1.2节，作者：【美】Donald Miner , Adam Shook 译者：徐钊 , 赵重庆责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.2　MapReduce简史

是什么触动我们写一本MapReduce设计模式的书呢？当前，社区的发展势头和广泛使用的设计模式已经积累到了一个关键点，使得汇总整理一份设计模式清单供开发者分享成为可能。在前几年，Hadoop的发展初期，还没有足够的这方面的经验积累。但MapReduce的发展速度超乎寻常。从2004年Google公开发布MapReduce的论文开始，到2012年为止，Hadoop已经成长为了被广泛采用的分布式数据处理的业界标准。

MapReduce的真实起源是存在争议的，但引领我们走向这个旅程的是2004年Jeffrey Dean和Sanjay Ghemawat发表的论文《MapReduce：Simplified Data Processing on Large Clusters》。这篇论文此后被广泛引用，它描述了Google如何通过拆分、处理和聚合来处理他们那些大到令人难以置信的数据集。

在这篇论文发表后不久，开源软件领域的先行者Doug Cutting开始为他的Nutch系统实现其分布式的MapReduce框架，Nutch系统的目标是实现一个开源的搜索引擎。随着时间的推移以及后续Yahoo!的持续投入，Hadoop从Nutch中独立出来，并最终成为Apache Foundation的顶级项目。时至今日，大量的独立开发者和组织都加入到了Hadoop社区，并为其贡献代码，这些使得每一个Hadoop新版本的发布都有新增功能和性能提升。

此外，基于Hadoop的一些开源系统也在蓬勃发展。其中比较著名的包括Pig、Hive、HBase、Mahout和ZooKeeper。Doug Cutting和Hadoop社区的专家多次提到，Hadoop已经成为了分布式处理中分布式操作系统的核心部件。在本书中，我们将以Hadoop生态系统中Java版的MapReduce为基础，来解释我们的示例。在某些章节中，我们还会将MapReduce设计模式与相似的Pig或Hive SQL实现进行比较。

微信关注我们

原文链接：https://yq.aliyun.com/articles/97983

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深入理解Spark：核心思想与源码分析. 3.1　SparkContext概述

3.1　SparkContext概述 Spark Driver用于提交用户应用程序，实际可以看作Spark的客户端。了解Spark Driver的初始化，有助于读者理解用户应用程序在客户端的处理过程。 Spark Driver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是所有Spark应用程序的发动机引擎，轿车要想跑起来，发动机首先要启动。SparkContext初始化完毕，才能向Spark集群提交任务。在平坦的公路上，发动机只需以较低的转速、较低的功率就可以游刃有余；在山区，你可能需要一台能够提供大功率的发动机才能满足你的需求。这些参数都是通过驾驶员操作油门、档位等传送给发动机的，而SparkContext的配置参数则由SparkConf负责，SparkConf就是你的操作面板。 SparkC

2017-05-02

524

前言 Preface 本书是大数据和Spark方面的一本简明易懂的手册。它将助你学习如何用Spark来完成很多大数据分析任务。它覆盖了高效利用Spark所需要知道的一切内容。购买本书的好处之一就是：帮你高效学习Spark，节省你大量时间。本书所覆盖的主题在互联网上都可以找到，网上有很多关于Spark的博客、PPT和视频。事实上，Spark的资料浩如烟海，你可能需要在网络上不同地方花费数月来阅读关于Spark的点滴和碎片知识。本书提供了一个更好的选择：内容组织精妙，并以易懂的形式表现出来。本书的内容和材料的组织基于我在不同的大数据相关会议上所组织的Spark研讨会。与会者对于内容和流程方面的积极反馈激励我写了这本书。书和研讨会的区别之一在于后者具有交互性。然而，组织过几次Spark研讨会后，我了解到了人们普遍存在的问题，我把这些

2017-05-02

608

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。