《循序渐进学Spark》一2.3　Spark算子-低调大师

《循序渐进学Spark》一2.3　Spark算子

2017-05-01 652

本节书摘来自华章出版社《循序渐进学Spark》一书中的第2章，第2.3节，作者小象学院　杨　磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3　Spark算子

本节介绍Spark算子的分类及其功能。

2.3.1　算子简介

Spark应用程序的本质，无非是把需要处理的数据转换为RDD，然后将RDD通过一系列变换（transformation）和操作（action）得到结果，简单来说，这些变换和操作即为算子。

Spark支持的主要算子如图2-4所示。

根据所处理的数据类型及处理阶段的不同，算子大致可以分为如下三类：

1）处理Value数据类型的Transformation算子；这种变换并不触发提交作业，处理的数据项是Value型的数据。

2）处理Key-Value数据类型的Transfromation算子；这种变换并不触发提交

微信关注我们

原文链接：https://yq.aliyun.com/articles/87550

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop TDG 3 – MR Features

Counters There are often things you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing. For example, if you were counting invalid records and discovered that the proportion of invalid records in the whole dataset was very high, you might be prompted to check why so many records were being marked as invalid—perhaps there is a bug in the part of the program that detects invalid records? Counters are a useful channel for gathering statisti...

2017-05-01

584

本节书摘来自华章计算机《深入理解ElasticSearch》一书中的第1章，第1.1节,作者：[美] 拉斐尔·酷奇（Rafa Ku）　马雷克·罗戈任斯基（Marek Rogoziński）更多章节内容可以访问云栖社区“华章计算机”公众号查看。第1章 ElasticSearch简介我们希望读者通过阅读本书能获取和拓展关于ElasticSearch的基本知识，并假设读者已经知道如何使用ElasticSearch进行单次或批量索引创建，如何发送请求检索感兴趣的文档，如何使用过滤器缩减检索返回文档的数量，以及使用切面/聚合（faceting/aggregation）机制来计算数据的一些统计量。不过，在接触ElasticSearch提供的各种令人激动的功能之前，仍然希望读者能对Apache Lucene有一个快速了解，因为ElasticSea

2017-05-01

681

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。