《Spark大数据分析：核心概念、技术及实践》导读-低调大师

《Spark大数据分析：核心概念、技术及实践》导读

2017-05-18 643

Contents 目　　录

译者序

前言

致谢

第1章　大数据技术一览

1.1　Hadoop

1.1.1　HDFS

1.1.2　MapReduce

1.1.3　Hive

1.2　数据序列化

1.2.1　Avro

1.2.2　Thrift

1.2.3　Protocol Buffers

1.2.4　SequenceFile

1.3　列存储

1.3.1　RCFile

1.3.2　ORC

1.3.3　Parquet

1.4　消息系统

1.4.1　Kafka

1.4.2　ZeroMQ

1.5　NoSQL

1.5.1　Cassandra

1.5.2　HBase

1.6　分布式SQL查询引擎

1.6.1　Impala

1.6.2　Presto

1.6.3　Apache Drill

1.7　总结15

第2章　 Scala编程

2.1　函数式编程

2.1.1　函数

2.1.2　不可变数据结构

2.1.3　一切皆表达式

2.2　Scala基础

2.2.1　起步

2.2.2　基础类型

2.2.3　变量

2.2.4　函数

2.2.5　类

2.2.6　单例

2.2.7　样本类

2.2.8　模式匹配

2.2.9　操作符

2.2.10　特质

2.2.11　元组

2.2.12　Option类型

2.2.13　集合

2.3　一个单独的Scala应用程序

2.4　总结

第3章　 Spark Core

3.1　概述

3.1.1　主要特点

3.1.2　理想的应用程序

3.2　总体架构

3.2.1　worker

3.2.2　集群管理员

3.2.3　驱动程序

3.2.4　执行者

3.2.5　任务

3.3　应用运行

3.3.1　术语

3.3.2　应用运行过程

3.4　数据源

3.5　API

3.5.1　SparkContext

3.5.2　RDD

3.5.3　创建RDD

3.5.4　RDD操作

3.5.5　保存RDD

3.6　惰性操作

3.7　缓存

3.7.1　RDD的缓存方法

3.7.2　RDD缓存是可容错的

3.7.3　缓存内存管理

3.8　Spark作业

3.9　共享变量

3.9.1　广播变量

3.9.2　累加器

3.10　总结

微信关注我们

原文链接：https://yq.aliyun.com/articles/86457

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark大数据分析：核心概念、技术及实践》Spark Core

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第节，作者穆罕默德·古勒（Mohammed Guller）更多章节内容可以访问云栖社区“华章计算机”公众号查看。 Spark Core Spark是大数据领域最活跃的开源项目，甚至比Hadoop还要热门。如第1章所述，它被认为是Hadoop的继任者。Spark的使用率大幅增长。很多组织正在用Spark取代Hadoop。从概念上看，Spark类似于Hadoop，它们都用于处理大数据。它们都能用商用硬件以很低的成本处理大数据。然而，相比于Hadoop，Spark有很多的优势，这些将在本章进行介绍。本章主要介绍Spark Core，这也是Spark生态系统的基础。我们首先概述Spark Core，然后介绍Spark的总体架构和应用程序运行时的情况。Spark Core的编程接口也会一并介绍。 3.1　概述 Spark是一个基于内存的用于处理、分析大数据的集群计算框架。它提供了一套简单的编程接口，从而使得应用程序开发者方便使用集群节点的CPU、内存、存储资源来处理大数据。 3.1.1　主要特点 Spark的...

2017-05-19

521

快速入门本教程是对Spark的一个快速简介。首先，我们通过Spark的交互式shell介绍一下API（主要是Python或Scala），然后展示一下如何用Java、Scala、Python写一个Spark应用。更完整参考看这里：programming guide 首先，请到Spark website下载一个Spark发布版本，以便后续方便学习。我们暂时还不会用到HDFS，所以你可以使用任何版本的Hadoop。使用Spark shell交互式分析基础利用Spark shell 很容易学习Spark API，同时也Spark shell也是强大的交互式数据分析工具。Spark shell既支持Scala（Scala版本的shell在Java虚拟机中运行，所以在这个shell中可以引用现有的Java库），也支持Python。在Spark目录下运行下面的命令可以启动一个Spark shell： Scala Python ./bin/spark-shell Spark最主要的抽象概念是个分布式集合，也叫作弹性分布式数据集（Resilient Distributed Dataset –R...

2017-05-19

604

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。