容器开启数据服务之旅系列(三):Kubernetes QoS助力在线运用与大数据离线运用的混部
容器开启数据服务之旅系列(三)
(三):Kubernetes QoS助力在线运用与大数据离线运用的混部
概述
本文是2018年大数据峰会上的一些分享,关于在线业务,离线业务在ACK(阿里云容器服务Kubernetes)的平台上通过对namespace, cgroup, quota的灵活组合完成在线,离线业务场景的混合部署,来提高总体资源的使用率,以及支资源限制动态分配调整,来伸缩离线部分的资源水位。结合HPA和资源监控,可以完成自动化的离线资源挤出。
在线业务Web应用/数据库
QoS class: Guaranteed:
limit = request
离线业务 Spark/MapReduce/Deep Learning
QoS class:Burstable
request < limit
通过namespace的Guaranteed Qo
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Docker - 通往新世界的大门
引言 相信很多技术同学在开发时都会使用虚拟机,配置好一个开发环境,以后使用时只需要启动虚拟机就好了。但虚拟机动辄几个GB,大一点儿的甚至几百个GB,而且只要其中任意的虚拟机文件损坏,整个虚拟机就没办法启动了。你可能说应该经常备份,这的确是个好主意。但有没有更好的办法呢?今天钢哥就带着大家了解一下Docker(容器),看看它是否比传统的虚拟机更适合我们。 什么是容器? 顾名思义,容器就是用来装东西的。我们平时喝水的杯子就是容器,只不过杯子这个“容器”是用来装水的,而我们这里的容器装的是应用程序。 容器有什么特点? 自包含性:它打包了应用程序的所有依赖,可以直接运行; 可移植性:容器可以在几乎任何地方以相同的方式运行,这就确保了在开发、测试和生产环境都可以拥有完全一样的运行环境; 相互隔离性:多个容器间默认是相互隔离的,即使运行在同一台主机上; 轻量级特性:秒级启动,占用资源少; 容器与虚拟机有什么区别? 很多同学会觉得,容器能做的事虚拟机也能做啊,到底有什么区别呢? 虚拟机的缺点 占用资源多; 冗余步骤多; 启动慢; 容器的优点 占用资源少; 提及小; 启动快; 下面是 Docker 官...
- 下一篇
容器开启数据服务之旅系列(四):Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制
容器开启数据服务之旅系列(四) Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制 概述 本文是2018年大数据峰会上的一些分享,关于在线业务,离线业务在ACK(阿里云容器服务Kubernetes)的平台上通过对bandwidth, disk quota的灵活组合完成在线,离线业务场景的混合部署,来提高总体资源的使用率,以及带宽,本地盘资源的动态分配调整,来控制离线,在线资源水位。 离线大数据运算带宽控制 QoS for bandwidth annotations: kubernetes.io/egress-bandwidth: 10M kubernetes.io/ingress-bandwidth: 5M 命名空间隔离和流量资源控制 ingress-bandwidth: 5M egress-bandw
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Hadoop3单机部署,实现最简伪集群