分布式计算框架Mesos最新版本六大新特性揭秘

1、容器的网络隔离

Mesos 0.23 提供支持在容器部署前定义网络的监控和隔离规则。网络隔离避免了单个容器占用太多的端口、太多的带宽,以及造成其他用户数据包明显的延迟。

每个运行的容器的网络统计数据可以在 slave 上从 /monitor/statistics.json 文件中读取。网络隔离对运行在 slave 上的多数 tasks 都是透明的(那些绑定到 port 0 和让内核分配给它们对应的端口)。这个特性仅仅是在 Linux 上实现并且需要设置 configure-time flag(配置时间标志位)。请参阅:http://mesos.apache.org/documentation/latest/network-monitoring/

2、SSL

对通过 libevent 的任何 libprocess 通信提供 SSL 加密支持(目前还是实验性)。对 Mesos master 和它对应的 slaves 及 Frameworks 之间的流量进行加密,防止被窃听和伪造,对于提高信息安全至关重要。这个特性需要 configure-time flag 并且有一些性能的影响。请参阅:http://mesos.apache.org/documentation/latest/mesos-ssl

3、超售

尝试在可撤销的资源上启动 tasks/executors,而 Mesos 可以随时撤销任务。重要的任务可以利用这些临时资源来提升性能。

为了应对峰值负载以及一些无法预料的负载暴增,高优先级的 2C 服务会置备在大型集群上。因此,大多数时间,资源没有得到充分的利用。超售特性可以利用暂时没有使用的资源来执行一些后台运行的任务,比如后台分析、视频 /图像处理、芯片仿真,以及其他低优先级的工作,当资源被征用,这些任务可以被随时撤销。

超售特性增加了两个新的 slave 的模块:资源估算和服务质量(QoS)控制,同时对现有的资源进行分配、资源监视器和 mesos slave 进行了扩展。请参阅:http://mesos.apache.org/documentation/latest/oversubscription/

4、持久化卷

尝试支持 Frameworks 提供创建磁盘持久化卷服务,这使得有状态服务例如 HDFS 以及 Cassandra 可以通过 Mesos 存储相关数据,而不是像之前必须将数据存储在网络挂载的 EBS 卷或者将数据放置在其他位置使得磁盘资源不受管理。详情请参阅:http://mesos.apache.org/documentation/latest/persistent-volume/

5、动态保留

Framework 可以对特定的 salve 上的动态资源进行预留(实验性支持)。不需要操作者在 slave 启动的时候指定一个固定的、预先计算好的“静态”资源,现在 Framework 可以预留 slave 提供的资源而无需重启 salve。现有的动态预留机制重大改变,这意味着现有的静态预留机制继续全力支持。请参阅:http://mesos.apache.org/documentation/latest/reservation/

6、缓存抓取

Executor/task 的二进制文件读取器(fetcher)现在支持缓存机制(实验性)。现在可以指示读取器将通过 URI 下载的二进制文件缓存到一个专用的目录,这样后续的下载可以重用。如果对于URI的 “cache” 标志位是 true,缓存读取机制将会生效。如果 URI 是第一次被下载(对于特定用户),则首先下载到高速缓存中,然后从那里复制到 sandbox 目录。如果相同的 URI 再次被遇到(对于同一个用户!),而且相应的缓存文件还在缓存中,则不会进行重复下载,此时读取器会直接从高速缓存进行拷贝。请参阅:http://mesos.apache.org/documentation/latest/fetcher/


本文作者:佚名

来源:51CTO

优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/187484

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。