您现在的位置是:首页 > 文章详情

《Spark与Hadoop大数据分析》一一3.6 Spark 资源管理器:Standalone、YARN和Mesos

日期:2017-07-02点击:507

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章,第3.6节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.6 Spark 资源管理器:Standalone、YARN和Mesos

在本章其他部分(在 PySpark shell 和应用程序中),我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同,以及它们该在什么情况下使用。
3.6.1 本地和集群模式
在继续讲解集群资源管理器之前,让我们来了解集群模式与本地模式的区别。
当跨集群执行代码时,了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子:

在本地模式下,前面的代码执行正常,因为

原文链接:https://yq.aliyun.com/articles/117485
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章