《Spark与Hadoop大数据分析》一一3.6 Spark 资源管理器:Standalone、YARN和Mesos
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章,第3.6节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3.6 Spark 资源管理器:Standalone、YARN和Mesos
在本章其他部分(在 PySpark shell 和应用程序中),我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同,以及它们该在什么情况下使用。
3.6.1 本地和集群模式
在继续讲解集群资源管理器之前,让我们来了解集群模式与本地模式的区别。
当跨集群执行代码时,了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子:
在本地模式下,前面的代码执行正常,因为

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Microsoft宣布新版SQL Server将支持Windows与Linux两大平台
今年三月份,微软首次宣布自旗舰产品SQL Server将支持Linux平台,给世界带来了一个巨大的惊喜。到目前为止,只有被邀请才能预览。但是微软11月17日在纽约举办的Connect开发者大会上宣布,想尝试的用户现在可以试用其内测预览版了。此内测预览版是第一个可同时用于Windows和Linux的版本。由于新版SQL Server支持Docker容器,甚至MacOS用户也能够运行。事实上,微软正下赌注——将容器作为预览的主要分发机制之一——它很快就会从Azure Virtual Machines和Docker Hub得到。用户也可以为Red Hat、Ubuntu和SUSE等流行的发行版下载其RPM、APT等格式的软件包。 微软在新闻稿中表示:“这次发布,代表了我们使SQL Server成为跨操作系统、开发语言、数据类型、内部部署和云的真正平台的重要一步。” 现在,Linux版将包括Windows版附带的所有标准SQL Server管理功能。这些包括高级功能,如始终加密和行级别安全,以及内存中的列存储。 正如微软副总裁Julia Liuson所说,它不会包括商业智能栈(虽然这部分将随着时...
- 下一篇
《Docker技术入门与实战》——2.2 安装Docker
本节书摘来自华章计算机《Docker技术入门与实战》一书中的第2章,第2.2节,作者:杨保华,戴王剑,曹亚仑著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 安装Docker Docker支持在主流的操作系统平台上使用,包括Ubuntu、CentOS、Windows以及MacOS系统等。当然,在Linux系列平台上是原生支持,使用体验也最好。Ubuntu Ubuntu 14.04及以上版本Ubuntu 14.04版本官方软件源中已经自带了Docker包,可以直接安装: $ sudo apt-get update $ sudo apt-get install -y docker.io $ sudo ln -sf /usr/bin/docker.io /usr/local/bin/docker $ sudo sed -i
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Hadoop3单机部署,实现最简伪集群
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2配置默认Tomcat设置,开启更多高级功能