《MapReduce设计模式》一导读-低调大师

《MapReduce设计模式》一导读

2017-05-01 448

前言

MapReduce设计模式
欢迎阅读《MapReduce设计模式》！这是一本既独特又熟悉的书。首先，这显然是一本关于设计模式的书，为大家提供解决问题的模板或通用指南。我们看了一些以前出版的有关设计模式的书，特别是Gamma等人（1995）编著的《Design Patterns: Elements of Reusable Object-Oriented Software》（通常被成为“四人组”书），从中汲取了灵感。在每个模式的描述中，读者都会看到一个我们反复使用的模板，这个模板基本是基于他们这本书的。重复看到类似的模板可以帮助读者获取所需的特定信息。这在以后使用这本书当参考书时特别有用。

这本书相对于“cookbook”类的书要更开放一些，因为本书不是面向解决具体问题的。但与cookbook类的书相似的是，本书涉及的内容同样都是简短的、分门别类的。要解决你所面临的问题需要付出比复制、粘贴我们的代码更多的努力，但是我们希望你可以找到一个模式帮助你解决掉90%的问题。

这本书主要是关于Hadoop或MapReduce的数据分析层面的。我们特意尽量不去引入过多有关Hadoop或MapReduce如何工作的细节，也没有长篇大论地说明我们使用的API。这些主题在互联网和相关出版物中已经有不少的涉及，因此我们决定把重点放在分析上。

考虑到在风格上与其他书籍有所不同，所以我们将在前言里说明如何更好地阅读本书。

第1章设计模式与MapReduce
1.1　设计模式
1.2　 MapReduce简史
1.3　 MapReduce和Hadoop简介
1.4　 Hadoop示例：单词计数
1.5　 Pig和Hive
第2章概要模式
第3章过滤模式
第4章数据组织模式
第5章连接模式
第6章元模式
第7章输入和输出模式
第8章最后的思考与设计模式的未来

微信关注我们

原文链接：https://yq.aliyun.com/articles/98013

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深入理解Spark：核心思想与源码分析. 3.4　SparkUI详解

3.4　SparkUI详解任何系统都需要提供监控功能，用浏览器能访问具有样式及布局并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的架构如图3-1所示。在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如SparkUI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用。将函数调用更换为发送事件，事件的处理是异步的，当前线程可以继续执行后续逻辑，线程池中的线程还可以被重用，这样整个系统的并发度会大大增加。发送的事件会存入缓存

2017-05-02

566

3.5　Hadoop相关配置及Executor环境变量 3.5.1　Hadoop相关配置信息默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下。 val hadoopConfiguration = SparkHadoopUtil.get.newConfiguration(conf) 获取的配置信息包括：将Amazon S3文件系统的AccessKeyId和SecretAccessKey加载到Hadoop的Configuration；将SparkConf中所有以spark.hadoop.开头的属性都复制到Hadoop的Configuration；将SparkConf的属性spark.buffer.size复制为Hadoop的Configuration的配置io.file.buffer.si

2017-05-02

595

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

《MapReduce设计模式》一导读

前言