《Spark与Hadoop大数据分析》——3.6　Spark 资源管理器：Standalone、YARN和Mesos-低调大师

《Spark与Hadoop大数据分析》——3.6　Spark 资源管理器：Standalone、YARN和Mesos

2017-08-31 773

3.6　Spark 资源管理器：Standalone、YARN和Mesos

在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。

3.6.1　本地和集群模式

在继续讲解集群资源管理器之前，让我们来了解集群模式与本地模式的区别。

当跨集群执行代码时，了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子：

在本地模式下，前面的代码执行正常，因为计数器（counter）变量和 RDD 在相同的内存空间（单个 JVM）里。

在集群模式下，计数器 counter 的值永远不会改变，并且始终保持为 0。在集群模式下，Spark 会计算出带有变

微信关注我们

原文链接：https://yq.aliyun.com/articles/212321

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

UMCloud成立，OpenStack市场再添生力军

ZD至顶网服务器频道 05月15日新闻消息（文/邹大斌）：5月5日，一家新的以OpenStack为主营业务的公司——UMCloud（上海优铭云计算有限公司）宣布成立。UMCloud由云服务商UCloud和OpenStack服务商Mirantis共同注资，将专注于为国内用户提供企业级私有云和混合云的规划、设计、实施、运维、培训和技术支持等服务。根据合作协议，UMCloud由UCloud公司控股，将全面共享UCloud和Mirantis双方优势资源，即拥有Mirantis在OpenStack开源社区所有的技术与产品，OpenStack最优的发行版和UCloud强大的本地运营能力。这也意味着新成立的UMCloud从一开始就在OpenStack领域拥有一个高起点，注定将成为中国OpenStack市场的一支不可小觑的力量。 OpenStack已成事实标准 OpenStack是继Linux以来最成功的开源项目。随着云计算的兴起，这个最初由NASA和RackSpace创立的项目在短短6年的时间就赢得了IBM、惠普、红帽等众多大型IT巨头的认可，成为了开源云计算框架的事实标准。由于OpenSta...

2017-09-01

547

每一个引入到企业网络中的设备都会产生新的安全问题，从简单到复杂，无处不在。如果设备丢失了怎么办?是否能够让用户只能访问有限的应用程序? 移动设备管理、移动应用管理和移动信息管理代表了移动管理和企业移动安全的演变。该进化过程试图维持为保护企业所作的IT需求控制以及用户移动设备体验之间的平衡。我们在之前的文章中有介绍过企业如何开启移动计划。关于移动的术语和技术如果你在评估移动技术上花费了大量的时间，毫无疑问，你遇到的第一个缩写词一定是BYOD，即自带设备。 IT专业人士在开发移动政策和程序之前应该多方面了解移动计算，包括设备、应用程序和数据，以及它们的连接方式。移动设备管理侧重于管理终端，移动应用程序管理侧重于软件，而移动信息管理关注数据访问和安全。 BYOD分摊责任从企业桌面和笔记本电脑发展到个人智能手机和平板电脑，在移动性管理领域，BYOD已经成为最有名的缩写词。现在个人智能手机和平板电脑无处不在，因为员工很快发现持续性和易访性所带来的优势。企业移动管理需要理解BYOD的风险，部署适当的技术和实践来保护企业信息资产。 BYOD的一个特点是共担责任。移动设备使用者希望有一定程度的自...

2017-09-01

622

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。