Spark架构原理-低调大师

Spark架构原理

2018-06-21 613

我的原创地址：https://dongkelun.com/2018/06/09/sparkArchitecturePrinciples/

前言

本文总结了Spark架构原理,其中主要包括五个组件：Driver、Master、Worker、Executor和Task，简要概括了每个组件是干啥的，并总结提交spark程序之后，这五个组件运行的详细步骤。

1、流程图

为了直观，就把流程图放在最前面了

2、Driver

driver是一个进程，我们编写的spark程序运行在driver上，由dirver进程执行，driver是作业的主进程，具有main函数，是程序的入口点，driver进程启动后，向master发送请求，进行注册，申请资源，在后面的executor启动后，会向dirver进行反注册，dirver注册了executor后，正式执行spark程序，读取数据源，创建rdd或dataframe，生成stage,提交task到executor

3、Master

Master是个进程，主要负责资源的调度和分配，集群的监控等。

4、Worker

worke是个进程，主要负责两个，一个是用自己的内存存储RDD的某个或某些partition，另一个是启动其他进程和线程，对RDD上的partition进行处理和计算。

5、Executor

Executor是个进程，一个Executor执行多个Task，多个Executor可以并行执行，可以通过–num-executors来指定Executor的数量，但是经过我的测试，Executor最大为集群可用的cpu核数减1。

6、Task

Task是个线程，具体的spark任务是在Task上运行的，某些并行的算子，有多少个分区就有多少个task，但是有些算子像take这样的只有一个task。

7、详细的流程

1、Driver进程启动之后，会进行一些初始化的操作，在这个过程中，会发送请求到master
2、Master，接收到Driver的注册之后，发送请求给Worker,进行资源的调度和分配，也就是Executor的分配
3、Worker接收到master的请求，启动Executor
4、Executor启动之后，会向Driver进行反注册
5、Driver注册了Executor之后，正式开始执行Spark程序，首先读取数据源，创建RDD
6、HDFS文件被读取到多个Worker节点，形成RDD
7、在worker上生成RDD之后，Driver会根据我们对RDD定义的操作，提交相应数量的Task到Executor上

微信关注我们

原文链接：https://yq.aliyun.com/articles/676195

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

带你领略基于ELK+Kafka的日志分析系统和Elasticsearch运维实践

阿里巴巴高级工程师赵汉青主要从五个方面对Elasticsearch在日志分析场景的应用与运维实践的问题进行详细讲解，分别对Elasticsearch及相关产品介绍、基于ELK+Kafka的日志分析系统、Elasticsearch运维实践、Elasticsearch优化经验以及阿里云Elasticsearch服务几个方面进行了详细的介绍。数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧！更多Elasticsearch相关信息请点击直播视频回顾PPT下载请点击以下是精彩视频内容整理： Elasticsearch及相关产品介绍 Elasticsearch是当下非常热门的分布式实时分析搜索引擎，其主要有查询近实时、内存消耗小搜索速度快、可扩展性强以及高可用等特点。Elasticsearch适用于存储文本数据，存储文本数据结构是用到

2018-06-20

702

摘要：在大数据上云特惠活动系列直播中，来自阿里巴巴的产品专家雷彪为现场的听众带来了《助力云上Hadoop-EMR新特性解读与展望》的精彩分享。在本次分享中，他重点介绍了来自阿里云的产品EMR，运维方如何进行大数据的良好管理，EMR在哪些方面进行了性能的增强，具有哪些新的能力以及对EMR未来的展望。数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧直播视频请点击PPT下载请点击以下内容根据现场分享整理而成。 EMR简介目前在阿里云上负责整个Hadoop生态的运行和维护的，是来自阿里云的产品EMR。E-MapReduce 是基于开源大数据生态系统，提供包括 Hadoop、Hive、Spark、Kafka、Storm，Impala等等开源软件，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。如上图所示，是在开源基础上

2018-06-21

715

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。