数据中心日均 CPU 利用率 45% 的运行之道--阿里巴巴规模化混部技术演进
今天给大家带来关于混部技术的分享,将从以下四方面阐述,重点在前面两个章节:
第一,阿里巴巴混部探索简介,混部技术在业界还尚属于较少研究的领域,该技术只有在资源及成本的体量达到一定规模时,才会显现出其可观的技术红利,我会介绍下阿里巴巴关于混部技术的探索历程;
第二,混部方案及架构,本次分享将更侧重于运维方面的架构设计及介绍;
第三,混部核心技术,由于时间关系,本次分享中仅仅罗列了一些技术点和方向性的东西,不做太多核心技术细节展开;
第四,未来展望。
一. 阿里巴巴混部探索简介
混部技术的出发点,源自于对不断增长的业务和日益攀升的资源成本如何平衡的思考,我们希望用最小的资源成本,支撑更大的业务需求。是否能够复用已有的存量资源,来满足新增的业务,这就是混部技术发展的思想源头。
1.1 为什么做混部?
上图是阿里巴巴从2009 年开始做双十一购物狂欢节以
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
架构设计之「数据库集群方案」
在之前的文章中,我们知道数据库服务可能已经成为了很多系统的性能关键点,甚至是瓶颈了。也给大家介绍了数据库服务器从主备架构、到主从架构、再到主主架构的基础方案。但如果单台机器已经不能满足完整业务数据存储的时候,我们就需要考虑采用多机甚至多中心的部署方案了。 今天我们就再来聊一聊,在多机环境下,数据库集群的架构方案。 同样,这里先不看细节,不管底层数据源是什么数据库,我们先谈架构方案。因为无论底层是 Mysql 还是 Redis、MongoDB,我们在架构设计上都是相通的。 针对多机的架构,常见有如下做法: 单中心数据集群 多中心数据分区 下面我们来具体看看: 一、单中心的数据集群架构(单中心多机) 单数据中心多机器的集群又可以分为: 数据集中模式 数据分散模式 这两种的主要区别在于集群中的完整业务数据是全部集中在一台机器上,但是分散在多台机器上。 数据集中模式 如图, 这种模式与「一主一从式」(主从式)比较类似,完整的业务数据还是存储在一台主机的上,主机承担读服务和写服务,从机只承担读服务。但是从机有多台机器,从机实时的从主机同步数据。所以这种模式,也可以理解为「一主多从」式。 因为有多...
- 下一篇
警惕MySQL运维陷阱:基于MyCat的伪分布式架构
分布式数据库已经进入了全面快速发展阶段。这种发展是与时俱进的,与人的需求分不开,因为现在信息时代的高速发展,导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈,因为MySQL数据库实质上还是一个单机版本的数据库,而只要是单机,就必然会遇到的一个问题就是存储问题,因为存储是硬需求,而CPU和内存如果不够的话,只是性能不好,并不会直接否定方案或者架构。 存储问题的解决,其实我们每一家公司或者个人,都一直在努力着。解决方案大概有三个方面: 1、增大磁盘 这种方式应该是最直接、最简单的方案了,因为磁盘空间不足了,当然加磁盘是手到病除,比如现在是800G,可以增加到2T,这是没问题的;如果现在已经达到了2T,当然,还是可以增加到5T的盘。但实际上,这个时候可能DBA就要捏把汗了,这么大数据量的MySQL实例,如何运维?如果数据坏了,如何恢复呢?时间成本呢? 5T的数据量,已经非常吓人了,估计在业内各大公司,没有DBA会希望自己运维的MySQL实例达到这个量级吧? 其实我个人认为,这个已经是不能接受的量了,最合适的是保持在1T以下,超过就要想办法了。 当然,数据量不宜达到这个大小的原因,可...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群