《Spark与Hadoop大数据分析》一一3.6　Spark 资源管理器：Standalone、YARN和Mesos-低调大师

《Spark与Hadoop大数据分析》一一3.6　Spark 资源管理器：Standalone、YARN和Mesos

2017-07-02 642

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.6节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.6　Spark 资源管理器：Standalone、YARN和Mesos

在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。
3.6.1　本地和集群模式
在继续讲解集群资源管理器之前，让我们来了解集群模式与本地模式的区别。
当跨集群执行代码时，了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子：

在本地模式下，前面的代码执行正常，因为

微信关注我们

原文链接：https://yq.aliyun.com/articles/117485

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Microsoft宣布新版SQL Server将支持Windows与Linux两大平台

今年三月份，微软首次宣布自旗舰产品SQL Server将支持Linux平台，给世界带来了一个巨大的惊喜。到目前为止，只有被邀请才能预览。但是微软11月17日在纽约举办的Connect开发者大会上宣布，想尝试的用户现在可以试用其内测预览版了。此内测预览版是第一个可同时用于Windows和Linux的版本。由于新版SQL Server支持Docker容器，甚至MacOS用户也能够运行。事实上，微软正下赌注——将容器作为预览的主要分发机制之一——它很快就会从Azure Virtual Machines和Docker Hub得到。用户也可以为Red Hat、Ubuntu和SUSE等流行的发行版下载其RPM、APT等格式的软件包。微软在新闻稿中表示：“这次发布，代表了我们使SQL Server成为跨操作系统、开发语言、数据类型、内部部署和云的真正平台的重要一步。” 现在，Linux版将包括Windows版附带的所有标准SQL Server管理功能。这些包括高级功能，如始终加密和行级别安全，以及内存中的列存储。正如微软副总裁Julia Liuson所说，它不会包括商业智能栈（虽然这部分将随着时...

2017-07-03

677

本节书摘来自华章计算机《Docker技术入门与实战》一书中的第2章，第2.2节,作者：杨保华，戴王剑，曹亚仑著，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2　安装Docker Docker支持在主流的操作系统平台上使用，包括Ubuntu、CentOS、Windows以及MacOS系统等。当然，在Linux系列平台上是原生支持，使用体验也最好。Ubuntu Ubuntu 14.04及以上版本Ubuntu 14.04版本官方软件源中已经自带了Docker包，可以直接安装： $ sudo apt-get update $ sudo apt-get install -y docker.io $ sudo ln -sf /usr/bin/docker.io /usr/local/bin/docker $ sudo sed -i

2017-07-03

570

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。