Spark的三种集群deploy模式对比-低调大师

Spark的三种集群deploy模式对比

2017-07-31 574

Spark有三种集群部署模式，或者叫做集群管理模式。分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。

那么在实际的项目中，我们该如何对比选择呢?下面是我的一些总结，主要参考了：

Which Apache Spark Cluster Managers Are The Right Fit? YARN, Mesos, or Standalone?

三种集群资源管理概述

Spark Standalone

作为Spark的一部分,Standalone是一个简单的集群管理器。它具有master的HA，弹性应对WorkerFailures，对每个应用程序的管理资源的能力，并且可以在现有的Hadoop一起运行和访问HDFS的数据。该发行版包括一些脚本，可以很容易地部署在本地或在AmazonEC2云计算。它可以在Linux，Windows或Mac OSX上运行。

Apache Mesos

Apache Mesos ,分布式系统内核，具有HA的masters和slaves，可以管理每个应用程序的资源，并对Docker容器有很好的支持。它可以运行Spark工作， Hadoop的MapReduce的，或任何其他服务的应用程序。它有Java， Python和C ++ 的API。它可以在Linux或Mac OSX上运行。

Hadoop YARN

Hadoop YARN，作业调度和集群资源管理的分布式计算框架，具有HA为masters和slaves，在非安全模式下支持Docker容器，在安全模式下支持 Linux和Windows container executors，和可插拔的调度器。它可以运行在Linux和Windows上运行。

集群资源调度能力的对比

模式资源调度能力比对SecurityHA

standalone 只支持FIFO调度器，单用户串行，默认所有节点的所有资源对应用都可用,node节点的限制，cpu内存等限制可以通过SparkConf来控制 shared secret ，SSL for data encryptionStandby Masters with ZooKeeper和本地文件系统的单点恢复
YARN 支持资源调度器Scheduler，应用管理器ApplicationsManager。CapacityScheduler和 FairScheduler在队列的范围内，资源共享。Kerberos。SSL for data encryption主备切换的HA方式，依赖于zookeeper，但不需要单独的zkfc进程
Mesos看下方：插件式安全模块,默认Cyrus SASL，SSL for data encryption一主多备，基于zookeeper的leader选举

Mesos的资源调度能力描述

粗粒度模式(Coarse-grained Mode)：每个应用程序的运行环境由一个Dirver和若干个Executor组成，其中，每个Executor占用若干资源，内部可运行多个 Task(对应多少个“slot”)。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。举个例子，比如你提交应用程序时，指定使用5个executor运行你的应用程序，每个executor占用5GB内存和5个CPU，每个executor内部设置了5个slot，则Mesos需要先为executor分配资源并启动它们，之后开始调度任务。另外，在程序运行过程中，mesos的master和slave并不知道executor内部各个task的运行情况，executor直接将任务状态通过内部的通信机制汇报给Driver，从一定程度上可以认为，每个应用程序利用mesos搭建了一个虚拟集群自己使用。

细粒度模式(Fine-grained Mode)：鉴于粗粒度模式会造成大量资源浪费，Spark On Mesos还提供了另外一种调度模式：细粒度模式，这种模式类似于现在的云计算，思想是按需分配。与粗粒度模式一样，应用程序启动时，先会启动 executor，但每个executor占用资源仅仅是自己运行所需的资源，不需要考虑将来要运行的任务，之后，mesos会为每个executor动态分配资源，每分配一些，便可以运行一个新任务，单个Task运行完之后可以马上释放对应的资源。每个Task会汇报状态给Mesos slave和Mesos Master，便于更加细粒度管理和容错，这种调度模式类似于MapReduce调度模式，每个Task完全独立，优点是便于资源控制和隔离，但缺点也很明显，短作业运行延迟大。

笔者总结

从对比上看，mesos似乎是Spark更好的选择，也是被官方推荐的
但如果你同时运行hadoop和Spark,从兼容性上考虑，Yarn似乎是更好的选择，毕竟是亲生的。Spark on Yarn运行的也不错。
如果你不仅运行了hadoop，spark。还在资源管理上运行了docker，Mesos似乎更加通用。
standalone小规模计算集群，似乎更适合!

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/195298

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

工业以太网的应用与分析

随着以太网作为工业网络不断地更新升级，各个公司也在加速工业自动化系统和企业应用之间的深化整合。通过分析在IT网络通讯过程中收集到的装配故障数据，会呈现出怎样的效率提升?或者在与材料供应商的货品计价相关联的材料的废数据中可以发现什么珍贵的商业情报?网络灵活性开启的业务新模式，让已经企业的管理层越来越难以忽视。 IIoT需要工业以太网工业物联网(IIoT)在传感器技术、无线连接、能量采集、大数据以及云计算方面的创新，是在设备、系统和人之间进行无缝信息交换的一部分，它为制造企业在整个价值链上提高业绩、灵活性和响应能力铺平了道路。IIoT的发展需要工业以太网，通过以太网提供的数据，大数据分析可以为企业提供更有价值的信息。考虑到更加高速的工艺对以太网的要求，以及更多的数据采集，工厂需要一个冗余网络，这样就可以很容易地在控制层解决网络问题。全网的可见性也会给边缘设备提供可依赖的网络。一个具有三层路由器和二层管理型交换机的主机就可以满足核心网络的需求。二层非管理型交换机要求扩展包含在IP地址层的端口状态透明度，以及提高端口的服务质量，使之适应需要大量自动化网络的企业运行环境。不过缺点是这样的交...

2017-08-01

532

关于网络安全有一个非常有意思的事，就是随着技术的变化，古老的网络攻击方式还会再次被利用。正如中间人攻击(MiTM)。这种攻击的目的很简单，就是在有线或者无线连接的中间放置一个攻击者。但是，随着云计算、物联网(IoT)、BYOT等网络技术的发展，攻击者也开始寻找新的方式以使那些古老的攻击方式可以重新被利用。下面是每个专业的网络人员都应该知道的关于MiTM攻击的各种方式。 MiT-cloud (MiTC) 过去这几年，云计算越来越受欢迎，一个常见的云服务就是云存储，很多企业都在使用。这些云服务使得庞大的数据传输和存储工作变得很简单。这个领域的参与者有Dropbox、OneDrive以及Google Drive等等。通常情况下，这些服务不会要求你每次使用服务的时候都要重新登录，因为你验证后，它会在你的本地系统上保留会话令牌(token)。MiTC就是利用的会话管理。如果攻击者获取了你的token，他们就能访问你的账户，这样，他们就能窃取你的数据，更改文件信息，或是上传恶意软件使你的电脑感染病毒。 MiT-browser (MiTB) 你上一次写支票是什么时候?我是想说，如今大多数人都使用网上...

2017-08-01

496

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。