《MapReduce设计模式》一导读-低调大师

《MapReduce设计模式》一导读

2017-05-01 434 89

前言

MapReduce设计模式
欢迎阅读《MapReduce设计模式》！这是一本既独特又熟悉的书。首先，这显然是一本关于设计模式的书，为大家提供解决问题的模板或通用指南。我们看了一些以前出版的有关设计模式的书，特别是Gamma等人（1995）编著的《Design Patterns: Elements of Reusable Object-Oriented Software》（通常被成为“四人组”书），从中汲取了灵感。在每个模式的描述中，读者都会看到一个我们反复使用的模板，这个模板基本是基于他们这本书的。重复看到类似的模板可以帮助读者获取所需的特定信息。这在以后使用这本书当参考书时特别有用。

这本书相对于“cookbook”类的书要更开放一些，因为本书不是面向解决具体问题的。但与cookbook类的书相似的是，本书涉及的内容同样都是简短的、分门别类的。要解决你所面临的问题需要付出比复制、粘贴我们的代码更多的努力，但是我们希望你可以找到一个模式帮助你解决掉90%的问题。

这本书主要是关于Hadoop或MapReduce的数据分析层面的。我们特意尽量不去引入过多有关Hadoop或MapReduce如何工作的细节，也没有长篇大论地说明我们使用的API。这些主题在互联网和相关出版物中已经有不少的涉及，因此我们决定把重点放在分析上。

考虑到在风格上与其他书籍有所不同，所以我们将在前言里说明如何更好地阅读本书。

第1章设计模式与MapReduce
1.1　设计模式
1.2　 MapReduce简史
1.3　 MapReduce和Hadoop简介
1.4　 Hadoop示例：单词计数
1.5　 Pig和Hive
第2章概要模式
第3章过滤模式
第4章数据组织模式
第5章连接模式
第6章元模式
第7章输入和输出模式
第8章最后的思考与设计模式的未来

微信关注我们

原文链接：https://yq.aliyun.com/articles/98013

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-05-02 00:00:00

深入理解Spark：核心思想与源码分析. 3.4　SparkUI详解

3.4　SparkUI详解任何系统都需要提供监控功能，用浏览器能访问具有样式及布局并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的架构如图3-1所示。在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如SparkUI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用。将函数调用更换为发送事件，事件的处理是异步的，当前线程可以继续执行后续逻辑，线程池中的线程还可以被重用，这样整个系统的并发度会大大增加。发送的事件会存入缓存

555

2017-05-02 00:00:00

深入理解Spark：核心思想与源码分析. 3.5　Hadoop相关配置及Executor环境变量

3.5　Hadoop相关配置及Executor环境变量 3.5.1　Hadoop相关配置信息默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下。 val hadoopConfiguration = SparkHadoopUtil.get.newConfiguration(conf) 获取的配置信息包括：将Amazon S3文件系统的AccessKeyId和SecretAccessKey加载到Hadoop的Configuration；将SparkConf中所有以spark.hadoop.开头的属性都复制到Hadoop的Configuration；将SparkConf的属性spark.buffer.size复制为Hadoop的Configuration的配置io.file.buffer.si

585

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。