《循序渐进学Spark》一2.3　Spark算子-低调大师

《循序渐进学Spark》一2.3　Spark算子

2017-05-01 709

本节书摘来自华章出版社《循序渐进学Spark》一书中的第2章，第2.3节，作者小象学院　杨　磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3　Spark算子

本节介绍Spark算子的分类及其功能。

2.3.1　算子简介

Spark应用程序的本质，无非是把需要处理的数据转换为RDD，然后将RDD通过一系列变换（transformation）和操作（action）得到结果，简单来说，这些变换和操作即为算子。

Spark支持的主要算子如图2-4所示。

根据所处理的数据类型及处理阶段的不同，算子大致可以分为如下三类：

1）处理Value数据类型的Transformation算子；这种变换并不触发提交作业，处理的数据项是Value型的数据。

2）处理Key-Value数据类型的Transfromation算子；这种变换并不触发提交

微信关注我们

原文链接：https://yq.aliyun.com/articles/87550

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop TDG 3 – MR Features

Counters There are often things you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing. For example, if you were counting invalid records and discovered that the proportion of invalid records in the whole dataset was very high, you might be prompted to check why so many records were being marked as invalid—perhaps there is a bug in the part of the program that detects invalid records? Counters are a useful channel for gathering statisti...

2017-05-01

628

本节书摘来自华章计算机《深入理解ElasticSearch》一书中的第1章，第1.1节,作者：[美] 拉斐尔·酷奇（Rafa Ku）　马雷克·罗戈任斯基（Marek Rogoziński）更多章节内容可以访问云栖社区“华章计算机”公众号查看。第1章 ElasticSearch简介我们希望读者通过阅读本书能获取和拓展关于ElasticSearch的基本知识，并假设读者已经知道如何使用ElasticSearch进行单次或批量索引创建，如何发送请求检索感兴趣的文档，如何使用过滤器缩减检索返回文档的数量，以及使用切面/聚合（faceting/aggregation）机制来计算数据的一些统计量。不过，在接触ElasticSearch提供的各种令人激动的功能之前，仍然希望读者能对Apache Lucene有一个快速了解，因为ElasticSea

2017-05-01

731

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。