Spark名词解释及关系-低调大师

Spark名词解释及关系

2017-07-31 586

随着对spark的业务更深入，对spark的了解也越多，然而目前还处于知道的越多，不知道的更多阶段，当然这也是成长最快的阶段。这篇文章用作总结最近收集及理解的spark相关概念及其关系。

名词

driver

driver物理层面是指输入提交spark命令的启动程序，逻辑层面是负责调度spark运行流程包括向master申请资源，拆解任务，代码层面就是sparkcontext。

worker

worker指可以运行的物理节点。

executor

executor指执行spark任务的处理程序，对java而言就是拥有一个jvm的进程。一个worker节点可以运行多个executor，只要有足够的资源。

job

job是指一次action，rdd(rdd在这里就不解释了)操作分成两大类型，一类是transform，一类是action，当涉及到action的时候，spark就会把上次action之后到本次action的所有rdd操作用一个job完成。

stage

stage是指一次shuffle，rdd在操作的时候分为宽依赖(shuffle dependency)和窄依赖(narraw dependency)，如下图所示。而宽依赖就是指shuffle。

应某人要求再解释一下什么是窄依赖，就是父rdd的每个分区都只作用在一个子rdd的分区中，原话是这么说的 each partition of the parent RDD is used by at most one partition of the child RDD。

task

task是spark的最小执行单位，一般而言执行一个partition的操作就是一个task，关于partition的概念，这里稍微解释一下。

spark的默认分区数是2，并且最小分区也是2，改变分区数的方式有很多，大概有三个阶段

1.启动阶段，通过 spark.default.parallelism 来初始化默认分区数

2.生成rdd阶段，可通过参数配置

3.rdd操作阶段，默认继承父rdd的partition数，最终结果受shuffle操作和非shuffle操作的影响，不同操作的结果partition数不同

名词关系

物理关系

官网给出的spark运行架构图

逻辑关系

下图是总结的逻辑关系图，如果有不对之处，还望提醒。

本文作者：小数点

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/180662

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

厉害了！我国成为全球物联网产业最活跃地区

近年来，我国高度重视物联网产业发展，取得显著成效。自2009年提出“感知中国”以来，物联网已被认定为国家战略性新兴产业，大力推进其发展。在各级政府主导和产业界的努力推动下，产业高速增长，规模迅速扩大，成为全球物联网产业发展最活跃的地区。我国陆续实施了“物联网专项”、“强基工程”、“智能制造专项”等一系列产业政策，培育了不同体制的研发机构和公共服务等配套体系，促进了产业生态体系建设与完善，推进了我国新型工业化发展战略的实施，为产业结构调整和转型升级发挥了积极作用。目前，我国已经初步形成芯片、元器件、设备、软件、系统集成、运营、应用服务等完整的产业链，并培育出一大批基础技术扎实、应用创新能力强、品牌优势突出、行业影响力大，市场竞争特色明显、人才聚集良好的产业龙头和领军企业。形成物联网架构体系物联网作为一种形式多样的复杂系统，涉及了信息技术自上而下的每个层面，具有产业链条长、涉及领域广泛、应用场景复杂等特征。围绕物联网架构搭建产业上下游协同关系，可带动产业链的整体发展。例如每个物体上都要加装一个甚至多个芯片，为集成电路、通信设备、传统制造业等关联产业带来发展新机遇。从整体上来看，物...

2017-08-01

540

分布式和并行计算 1 引言这一章中，我们跳转到协调多个计算机和处理器的问题。首先，我们会观察分布式系统。它们是互相连接的独立计算机，需要互相沟通来完成任务。它们可能需要协作来提供服务，共享数据，或者甚至是储存太大而不能在一台机器上装下的数据。我们会看到，计算机可以在分布式系统中起到不同作用，并且了解各种信息，计算机需要交换它们来共同工作。接下来，我们会考虑并行计算。并行计算是这样，当一个小程序由多个处理器使用共享内存执行时，所有处理器都并行工作来使任务完成得更快。并发(或并行)引入了新的挑战，并且我们会开发新的机制来管理并发程序的复杂性。 2 分布式系统分布式系统是自主的计算机网络，计算机互相通信来完成一个目标。分布式系统中的计算机都是独立的，并且没有物理上共享的内存或处理器。它们使用消息来和其它计算机通信，消息是网络上从一台计算机到另一台计算机传输的一段信息。消息可以用于沟通许多事情：计算机可以让其它计算机来执行一个带有特定参数的过程，它们可以发送和接受数据包，或者发送信号让其它计算机执行特定行为。分布式系统中的计算机具有不同的作用。计算机的作用取决于系统的目标，以及计算机自...

2017-08-01

539

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。