《Spark与Hadoop大数据分析》——3.6　Spark 资源管理器：Standalone、YARN和Mesos-低调大师

《Spark与Hadoop大数据分析》——3.6　Spark 资源管理器：Standalone、YARN和Mesos

2017-08-31 758

3.6　Spark 资源管理器：Standalone、YARN和Mesos

在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。

3.6.1　本地和集群模式

在继续讲解集群资源管理器之前，让我们来了解集群模式与本地模式的区别。

当跨集群执行代码时，了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子：

在本地模式下，前面的代码执行正常，因为计数器（counter）变量和 RDD 在相同的内存空间（单个 JVM）里。

在集群模式下，计数器 counter 的值永远不会改变，并且始终保持为 0。在集群模式下，Spark 会计算出带有变

微信关注我们

原文链接：https://yq.aliyun.com/articles/212321

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

UMCloud成立，OpenStack市场再添生力军

ZD至顶网服务器频道 05月15日新闻消息（文/邹大斌）：5月5日，一家新的以OpenStack为主营业务的公司——UMCloud（上海优铭云计算有限公司）宣布成立。UMCloud由云服务商UCloud和OpenStack服务商Mirantis共同注资，将专注于为国内用户提供企业级私有云和混合云的规划、设计、实施、运维、培训和技术支持等服务。根据合作协议，UMCloud由UCloud公司控股，将全面共享UCloud和Mirantis双方优势资源，即拥有Mirantis在OpenStack开源社区所有的技术与产品，OpenStack最优的发行版和UCloud强大的本地运营能力。这也意味着新成立的UMCloud从一开始就在OpenStack领域拥有一个高起点，注定将成为中国OpenStack市场的一支不可小觑的力量。 OpenStack已成事实标准 OpenStack是继Linux以来最成功的开源项目。随着云计算的兴起，这个最初由NASA和RackSpace创立的项目在短短6年的时间就赢得了IBM、惠普、红帽等众多大型IT巨头的认可，成为了开源云计算框架的事实标准。由于OpenSta...

2017-09-01

533

每一个引入到企业网络中的设备都会产生新的安全问题，从简单到复杂，无处不在。如果设备丢失了怎么办?是否能够让用户只能访问有限的应用程序? 移动设备管理、移动应用管理和移动信息管理代表了移动管理和企业移动安全的演变。该进化过程试图维持为保护企业所作的IT需求控制以及用户移动设备体验之间的平衡。我们在之前的文章中有介绍过企业如何开启移动计划。关于移动的术语和技术如果你在评估移动技术上花费了大量的时间，毫无疑问，你遇到的第一个缩写词一定是BYOD，即自带设备。 IT专业人士在开发移动政策和程序之前应该多方面了解移动计算，包括设备、应用程序和数据，以及它们的连接方式。移动设备管理侧重于管理终端，移动应用程序管理侧重于软件，而移动信息管理关注数据访问和安全。 BYOD分摊责任从企业桌面和笔记本电脑发展到个人智能手机和平板电脑，在移动性管理领域，BYOD已经成为最有名的缩写词。现在个人智能手机和平板电脑无处不在，因为员工很快发现持续性和易访性所带来的优势。企业移动管理需要理解BYOD的风险，部署适当的技术和实践来保护企业信息资产。 BYOD的一个特点是共担责任。移动设备使用者希望有一定程度的自...

2017-09-01

609

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。