《循序渐进学Spark》一2.3　Spark算子-低调大师

《循序渐进学Spark》一2.3　Spark算子

2017-05-01 584

本节书摘来自华章出版社《循序渐进学Spark》一书中的第2章，第2.3节，作者小象学院　杨　磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3　Spark算子

本节介绍Spark算子的分类及其功能。

2.3.1　算子简介

Spark应用程序的本质，无非是把需要处理的数据转换为RDD，然后将RDD通过一系列变换（transformation）和操作（action）得到结果，简单来说，这些变换和操作即为算子。

Spark支持的主要算子如图2-4所示。

根据所处理的数据类型及处理阶段的不同，算子大致可以分为如下三类：

1）处理Value数据类型的Transformation算子；这种变换并不触发提交作业，处理的数据项是Value型的数据。

2）处理Key-Value数据类型的Transfromation算子；这种变换并不触发提交

微信关注我们

原文链接：https://yq.aliyun.com/articles/87550

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop TDG 3 – MR Features

Counters There are often things you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing. For example, if you were counting invalid records and discovered that the proportion of invalid records in the whole dataset was very high, you might be prompted to check why so many records were being marked as invalid—perhaps there is a bug in the part of the program that detects invalid records? Counters are a useful channel for gathering statisti...

2017-05-02

524

本节书摘来自华章计算机《深入理解ElasticSearch》一书中的第1章，第1.1节,作者：[美] 拉斐尔·酷奇（Rafa Ku）　马雷克·罗戈任斯基（Marek Rogoziński）更多章节内容可以访问云栖社区“华章计算机”公众号查看。第1章 ElasticSearch简介我们希望读者通过阅读本书能获取和拓展关于ElasticSearch的基本知识，并假设读者已经知道如何使用ElasticSearch进行单次或批量索引创建，如何发送请求检索感兴趣的文档，如何使用过滤器缩减检索返回文档的数量，以及使用切面/聚合（faceting/aggregation）机制来计算数据的一些统计量。不过，在接触ElasticSearch提供的各种令人激动的功能之前，仍然希望读者能对Apache Lucene有一个快速了解，因为ElasticSea

2017-05-02

623

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。