《深入理解Spark:核心思想与源码分析》—

《深入理解Spark:核心思想与源码分析》——导读

2017-05-01 648

本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的目录，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看

4597c422435dc8b1e3fdc012a7a32e6180675cca

前言
准　备　篇
第1章　环境准备
 1.1　运行环境准备
 1.2　Spark初体验
 1.3　阅读环境准备
 1.4　Spark源码编译与调试
 1.5　小结
 第2章　Spark设计理念与基本架构
 2.1　初识Spark
2.2　Spark基础知识
 2.3　Spark基本设计思想
 2.4　Spark基本架构
 2.5　小结
核心设计篇
第3章　SparkContext的初始化
 3.1　SparkContext概述
 3.2　创建执行环境SparkEnv
3.3　创建metadataCleaner
3.4　SparkUI详解
 3.5　Hadoop相关配置及Executor环境变量
 3.6　创建任务调度器TaskSched5uler
3.7　创

微信关注我们

原文链接：https://yq.aliyun.com/articles/107888

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop海量数据处理：技术详解与项目实战》一3.3 如何访问HDFS

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第3章，第3.3节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 3.3 如何访问HDFS Hadoop海量数据处理：技术详解与项目实战HDFS提供给HDFS客户端访问的方式多种多样，用户可以根据不同的情况选择不同的方式。 3.3.1 命令行接口 Hadoop自带一组命令行工具，而其中有关HDFS的命令是其工具集的一个子集。命令行工具虽然是最基础的文件操作方式，但却是最常用的。作为一名合格的Hadoop开发人员和运维人员，熟练掌握是非常有必要的。执行hadoop dfs命令可以显示基本的使用信息。 [hadoop@master bin]$ hadoop dfs Usage: java FsShell [-ls <path>] [-lsr <path>] [-df [<path>]] [-du <path>] [-dus <path>] [-count[-q] <path>] [-mv <src&...

2017-05-02

561

本节书摘来异步社区《HBase权威指南》一书中的第1章，第1.1节，作者：【美】Lars George 译者：代志远 , 刘佳 , 蒋杰责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.1　海量数据的黎明我们生活在一个互联网时代，无论是想搜索最佳的火鸡菜谱，还是送妈妈什么样的生日礼物，都希望能够通过互联网迅速地检索到问题的答案，同时希望查询到的结果有用，而且非常切合我们的需要。因此，很多公司开始致力于提供更有针对性的信息，例如推荐或在线广告，这种能力会直接影响公司在商业上的成败。现在类似Hadoop②这样的系统能够为公司提供存储和处理PB级数据的能力，随着新机器学习算法的不断发展，收集更多数据的需求也在与日俱增。以前，因为缺乏划算的方式来存储所有信息，很多公司会忽略某些数据源，但是现在这样的处理方式会让公司丧失竞争力。存储和分析每一个数据点的需求在不断增长，这种需求的增长直接导致各公司电子商务平台产生了更多的数据。过去，唯一的选择就是将收集到的数据删减后保存起来，例如只保留最近N天的数据。然而，这种方法只在短期内可行，它无法存储几个月或几年收集到的...

2017-05-02

613

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

《深入理解Spark:核心思想与源码分析》——导读