《Spark大数据分析实战》—

《Spark大数据分析实战》——导读

2017-05-01 630

本节书摘来自华章社区《Spark大数据分析实战》一书中的目录，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看

3b8898c74803879f1655a656300a8aaa5e9a27e9

目　　录

前　言
第1章 Spark简介
 1.1 初识Spark
1.2 Spark生态系统BDAS
1.3 Spark架构与运行逻辑
 1.4 弹性分布式数据集
 1.5 本章小结
 第2章 Spark开发与环境配置
 2.1 Spark应用开发环境配置
 2.2 远程调试Spark程序
 2.3 Spark编译
 2.4 配置Spark源码阅读环境
 2.5 本章小结
 第3章 BDAS简介
 3.1 SQL on Spark
3.2 Spark Streaming
3.3 GraphX
3.4 MLlib
3.5 本章小结
第4章

微信关注我们

原文链接：https://yq.aliyun.com/articles/108622

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop MapReduce实战手册》一2.4 DataNode下架

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.4节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.4 DataNode下架 Hadoop MapReduce实战手册有些时候你可能想让一个HDFS集群的一个或多个数据节点下架。本节展示了如何优雅地让使用中的DataNode下架而不会导致数据丢失，而且无需重新启动集群。操作步骤下列步骤显示了如何让数据节点优雅地下架。如果集群没有排除文件配置，则需要向集群中添加一个排除文件（exclude file）。在NameNode上创建一个空文件，并且通过添加以下属性从conf/hdfs-site.xml文件指向它。 <property> 　 <name>dfs.hosts.exclude</name> 　 <value>[FUL_PATHTO_THE_EXCLUDE_FILE_]</value> 　 <descrip...

2017-05-02

523

《Hadoop MapReduce实战手册》一2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.5节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况 Hadoop MapReduce实战手册Hadoop支持为DataNode数据目录指定多个操作系统目录。此功能使我们能够利用多个磁盘/卷来存储DataNode的数据块。Hadoop将尝试在每个目录中存储等量的数据。Hadoop也支持限制HDFS使用的磁盘空间数量。操作步骤下面的步骤将展示如何添加多个磁盘卷。在每个卷中创建HDFS的数据存储目录。在$HADOOP_HOME/conf/hdfs-site.xml中，提供了一个逗号分隔的列表，对应于dfs.data.dir目录下的每个卷的数据存储位置的目录。 <property> 　<name>dfs.data.dir</name> 　<value>/_u1_/_hadoop_...

2017-05-02

465

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

《Spark大数据分析实战》——导读