深入理解Spark：核心思想与源码分析. 3.5　Hadoop相关配置及Executor环境变量-低调大师

深入理解Spark：核心思想与源码分析. 3.5　Hadoop相关配置及Executor环境变量

2017-05-01 585 89

3.5　Hadoop相关配置及Executor环境变量

3.5.1　Hadoop相关配置信息

默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下。

val hadoopConfiguration = SparkHadoopUtil.get.newConfiguration(conf)

获取的配置信息包括：

将Amazon S3文件系统的AccessKeyId和SecretAccessKey加载到Hadoop的Configuration；

将SparkConf中所有以spark.hadoop.开头的属性都复制到Hadoop的Configuration；

将SparkConf的属性spark.buffer.size复制为Hadoop的Configuration的配置io.file.buffer.si

微信关注我们

原文链接：https://yq.aliyun.com/articles/82176

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-05-02 00:00:00

《MapReduce设计模式》一导读

前言 MapReduce设计模式欢迎阅读《MapReduce设计模式》！这是一本既独特又熟悉的书。首先，这显然是一本关于设计模式的书，为大家提供解决问题的模板或通用指南。我们看了一些以前出版的有关设计模式的书，特别是Gamma等人（1995）编著的《Design Patterns: Elements of Reusable Object-Oriented Software》（通常被成为“四人组”书），从中汲取了灵感。在每个模式的描述中，读者都会看到一个我们反复使用的模板，这个模板基本是基于他们这本书的。重复看到类似的模板可以帮助读者获取所需的特定信息。这在以后使用这本书当参考书时特别有用。这本书相对于“cookbook”类的书要更开放一些，因为本书不是面向解决具体问题的。但与cookbook类的书相似的是，本书涉及的内容同样都是简短的、分门别类的。要解决你所面临的问题需要付出比复制、粘贴我们的代码更多的努力，但是我们希望你可以找到一个模式帮助你解决掉90%的问题。这本书主要是关于Hadoop或MapReduce的数据分析层面的。我们特意尽量不去引入过多有关Hadoop或MapRe...

433

2017-05-02 00:00:00

《Hadoop MapReduce性能优化》一1.5　小结

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第1章，第1.5节，作者：【法】Khaled Tannir 译者：范欢动责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.5　小结 Hadoop MapReduce性能优化在本章中，我们学习了MapReduce编程模型，并回顾了其内部工作原理。然后，我们关注了Hadoop MapReduce并了解了其主要组件。我们还谈到了影响Hadoop MapReduce性能的内外部因素。在下一章中，我们将深入了解Hadoop的可调参数，并学习Hadoop性能指标（metrics）和性能检测工具。

591

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。