《Spark与Hadoop大数据分析》一一3.3　Spark 程序的生命周期-低调大师

《Spark与Hadoop大数据分析》一一3.3　Spark 程序的生命周期

2017-07-02 685

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.3节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.3　Spark 程序的生命周期

以下步骤讲解了配备 Standalone 资源管理器的 Spark 应用程序的生命周期，图3-8 显示了Spark程序的调度过程：

（1）用户使用 spark-submit 命令提交一个 Spark 应用程序。
（2）spark-submit 在同一节点（客户端模式）或集群（集群模式）上启动驱动进程，并调用由用户指定的 main 方法。
（3）驱动进程联系集群管理器，根据提供的配置参数来请求启动执行进程 JVM 所需的资源。
（4）集群管理器在工作机节点上启动执行进程 JVM。
（5）驱动进程扫描用户应用程序。根据程序

微信关注我们

原文链接：https://yq.aliyun.com/articles/117466

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据：Hadoop族群介绍

大数据是支持一系列技术(如各种Hadoop项目、NoSQL产品，甚至MPP数据库系统)的术语，它通过驱动更好的分析和从数据中获得有价值的信息为世界各地的组织机构极大地降低了成本，同时提供了新的见解和产品。在经济衰退时期，企业更希望从己有资产中获得更大的价值，而不是投资新的资产。大数据，特别是Hadoop,就是实现这个目标的理想手段。什么是Hadoop？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 2006年Hadoop项目诞生。Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被ApacheSoftware Foundation公司引入并成为开源应用。Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。Hadoop为用户提供了一个可靠的共享存储和分析系统。从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务，以及利用一种...

2017-07-03

521

在美国孟菲斯召开的“数据管理与交换”分技术委员会2016年全会上，中国代表团提交的大数据技术提案“sql对mapreduce及与之相关的流数据处理的支持”完胜美国、德国，获得sc32全会决议通过。中国首项大数据领域国际标准提案通过sc32全会决议会议确认以wg3“数据库语言工作组”和中国国家成员体的名义联合申报新工作项目“数据库语言新技术设计说明第1部分：sql对流数据的支持”。这是中国加入数据库标准组29年来首度在国际标准委员会独立提出技术提案并获通过。随着大数据时代的到来，MapReduce作为主流的数据处理方式已被广泛采用，但其编程过程繁琐且对流数据的处理缺少规范化的操作。同时由于现行的ISO/IEC 9075数据库语言SQL标准不支持对流数据的支持，一些大数据解决方案公司为了使用SQL标准处理流数据开发了多种解决方案，使得SQL程序员需要理解各种方案及相关用法，增加了大数据系统的开发难度，降低了大数据系统的开发效率。中国代表团的提案通过将MapReduce方法合并到SQL标准中，使SQL程序员可方便地通过标准的SQL语言使用MapRedece。符合该标准的大数据平台将极大降...

2017-07-03

471

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。