《Spark与Hadoop大数据分析》一一3.6　Spark 资源管理器：Standalone、YARN和Mesos-低调大师

《Spark与Hadoop大数据分析》一一3.6　Spark 资源管理器：Standalone、YARN和Mesos

2017-07-02 613

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.6节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.6　Spark 资源管理器：Standalone、YARN和Mesos

在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。
3.6.1　本地和集群模式
在继续讲解集群资源管理器之前，让我们来了解集群模式与本地模式的区别。
当跨集群执行代码时，了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子：

在本地模式下，前面的代码执行正常，因为

微信关注我们

原文链接：https://yq.aliyun.com/articles/117485

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Microsoft宣布新版SQL Server将支持Windows与Linux两大平台

今年三月份，微软首次宣布自旗舰产品SQL Server将支持Linux平台，给世界带来了一个巨大的惊喜。到目前为止，只有被邀请才能预览。但是微软11月17日在纽约举办的Connect开发者大会上宣布，想尝试的用户现在可以试用其内测预览版了。此内测预览版是第一个可同时用于Windows和Linux的版本。由于新版SQL Server支持Docker容器，甚至MacOS用户也能够运行。事实上，微软正下赌注——将容器作为预览的主要分发机制之一——它很快就会从Azure Virtual Machines和Docker Hub得到。用户也可以为Red Hat、Ubuntu和SUSE等流行的发行版下载其RPM、APT等格式的软件包。微软在新闻稿中表示：“这次发布，代表了我们使SQL Server成为跨操作系统、开发语言、数据类型、内部部署和云的真正平台的重要一步。” 现在，Linux版将包括Windows版附带的所有标准SQL Server管理功能。这些包括高级功能，如始终加密和行级别安全，以及内存中的列存储。正如微软副总裁Julia Liuson所说，它不会包括商业智能栈（虽然这部分将随着时...

2017-07-03

639

本节书摘来自华章计算机《Docker技术入门与实战》一书中的第2章，第2.2节,作者：杨保华，戴王剑，曹亚仑著，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2　安装Docker Docker支持在主流的操作系统平台上使用，包括Ubuntu、CentOS、Windows以及MacOS系统等。当然，在Linux系列平台上是原生支持，使用体验也最好。Ubuntu Ubuntu 14.04及以上版本Ubuntu 14.04版本官方软件源中已经自带了Docker包，可以直接安装： $ sudo apt-get update $ sudo apt-get install -y docker.io $ sudo ln -sf /usr/bin/docker.io /usr/local/bin/docker $ sudo sed -i

2017-07-03

540

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。