MaxCompute资源管理—— 包年包月资源分时
背景概述
在数据开发过程中,普遍有这样的场景:不同项目(开发、生产)对资源使用的时段不同,如数仓团队有离线生产project在夜间是计算高峰期,开发project和业务分析团队的project计算高峰在白天。即不同project在不同的时段对CU的消耗需求不同,日常峰谷时间段比较固定。
MaxCompute管家之前提供的自定义配额组,只能对配额进行二级切分,但无法进行时段切分,2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。
本文将介绍如何进行分时配额,协助您更快上手使用分时配额功能,提高资源使用率。
注意事项
基本原则:
- 只有包年包月的预留计算资源(预留CU)支持分时配置,非预留计算资源不支持分时。
- 开启分时配置,是对当前region下所有配额组都开启,但默认quota组不支持编辑。
- 配额组开启分时后,默认是一个时段(00:00:00—23:59:59),最多支持3个时间段,所有quota组分时都支持一个分时规则,即所有quota组都有一样的时间段。
- 只支持整点分时,如0:00点—07:00,最后一个时段截止时刻必须为23:59:59。
开启分时后配额组设置注意事项:
- 开启分时后,如果某个配额组不需要分时,那么每个时间段设置的最小/最大CU量都一样既可。
- 同一个时间段,所有配额组预留CU最小值总和等于购买量。
关闭分时:
- 如果发现当前的分时时段不合理或者根据业务需求需要调整,则再点击 设置分时 ,进入设置分时页面,点击“关闭分时”,此时分时功能关闭,各个配额组的预留CU量设置为当前时间点对应关闭前的时间段设置的CU量。
修改分时:
- 目前不支持直接在原来的分时上修改分时时段,需要先“关闭分时”再“开启分时”进行新的分时配置,然后对应修改各个自定义配额则中预留CU每个时段的CU量。
使用案例
需求背景:北京region购买了包年包月预留计算资源100CU,数仓团队有生产、开发项目,业务团队有自助分析项目。
分析:生产项目计算高峰时间段0点-8点,CU使用量较高,其余时间会有小部分小时任务且时间上要求不是很高;开发项目计算高峰期在9点到23点,计算频次较高;自助分析项目计算高峰期子9点到23点,计算比较分散,但也有些固定周期调度任务需要保障。时间段分布比较固定,因此可以将配额切分2个时段‘00:00:00—08:00:00’、‘08:00:00—23:59:59’。生产、开发、自助分析项目对计算资源的需求量也各有差异,因此可以自定义2个配额组+默认配额组共3个配额组进行分配。
配额组设计:
时段1:代表时段‘00:00:00—08:00:00’
时段2:代表时段‘08:00:00—23:59:59’
配额组名称 | 时段1预留CU Min值 | 时段1预留CU Max值 | 时段2预留CU Min值 | 时段2预留CU Max值 | 备注 |
---|---|---|---|---|---|
默认配额 | 80 | 100 | 20 | 100 | 做为生产配额 |
开发配额 | 10 | 10 | 30 | 50 | 时间段1预留一些CU防止需要临时开发测试,若空闲,默认配额请求超过80也可使用 |
自助分析配额 | 10 | 10 | 50 | 100 | 时间段1预留一些CU防止临时取数,若空闲,默认配额请求超过80也可使用 |
操作步骤:
- 进入MaxCompute管家页面。登录DataWorks控制台;在左侧导航栏,单击计算引擎列表 > MaxCompute;在计算引擎列表—MaxCompute页面上方选择您所在的区域;单击包年包月区域的CU管理,进入MaxCompute管家页面。
- 管家页面左侧导航点击配额,进入配额页面,点击“设置分时”,弹框中进行分时设置,输入好分时后点击“开启分时”。
-
新建或者修改原有配额组,对每个配额组预留CU不同时段的Min和Max值进行设置,如“自助分析配额”组的设置。
设置完成后,列表上显示的各配额组预留CU的Min和Max值对应当前时段的值。
- 配额组设置好后,在项目列表中对应项目的“修改”操作,分别给生产、开发、自助分析项目关联对应的配额组。
总结
MaxCompute 管家支持的分时配额,可以友好的支持时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。您可以根据自己业务需求进行合理的设置,更多MaxCompute 管家使用请参考文档

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Flink 1.11 新特性之 SQL Hive Streaming 简单示例
7月7日,Flink 1.11 版本发布,与 1.10 版本相比,1.11 版本最为显著的一个改进是 Hive Integration 显著增强,也就是真正意义上实现了基于 Hive 的流批一体。 本文用简单的本地示例来体验 Hive Streaming 的便利性并跟大家分享体验的过程以及我的心得,希望对大家上手使用有所帮助。 添加相关依赖 测试集群上的 Hive 版本为 1.1.0,Hadoop 版本为 2.6.0,Kafka 版本为 1.0.1。 <properties> <scala.bin.version>2.11</scala.bin.version> <flink.version>1.11.0</flink.version> <flink-shaded-hadoop.version>2.6.5-10.0</flink-shaded-hadoop.version> <hive.version>1.1.0</hive.version> </properties>...
- 下一篇
Elasticsearch 如何实现 SQL 语句中 Group By 和 Limit 的功能
作者介绍 魏彬,普翔科技 CTO,开源软件爱好者,中国第一位 Elastic 认证工程师,《Elastic日报》和 《ElasticTalk》社区项目发起人,被 elastic 中国公司授予 2019 年度合作伙伴架构师特别贡献奖。对 Elasticsearch、Kibana、Beats、Logstash、Grafana 等开源软件有丰富的实践经验,为零售、金融、保险、证券、科技等众多行业的客户提供过咨询和培训服务,帮助客户在实际业务中找准开源软件的定位,实现从 0 到 1 的落地、从 1 到 N 的拓展,产生实际的业务价值。 有 SQL 背景的同学在学习 Elasticsearch 时,面对一个查询需求,不由自主地会先思考如何用 SQL 来实现,然后再去想 Elasticsearch 的 Query DSL 如何实现。那么本篇就给大家讲一条常见的 SQL 语句如何用 Elasticsearch 的查询语言实现。 一、SQL语句 假设我们有一个汽车的数据集,每个汽车都有车型、颜色等字段,我希望获取颜色种类大于1个的前2车型。假设汽车的数据模型如下: { "model":"modelA"...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- 2048小游戏-低调大师作品
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程