DataOps 助力容量管理 - Project 迁移优化应用实践

Maxcompute（原ODPS）是阿里唯一的自研大数据平台，平台承载了不可丢失的交易数据。内部是一个逻辑统一大数据池， EB级数据透明的相互依赖。但其在物理上却是横跨多地域庞大数量构成的集群组合. 这在容量问题上面会带来物理资源瓶颈无法满足业务需求的巨大挑战。

——对于集群(cluster)，存在计算、存储、文件数等多个维度的资源，集群间存在通信的带宽资源，带宽成本因集群间的距离而不同；

——对于应用(project)，各个应用对不同维度的资源的消耗存在差异，对于计算资源的消耗，存在很强的时段差异性；

——此外应用之间存在数据访问依赖，会消耗集群间的带宽资源。随着业务的日益发展，集群个数和规模在不断扩大，应用间的依赖也愈发复杂。

我们要解决的问题

当任何一个集群计算、存储、文件数资源达到瓶颈都会对集团的业务造成影响，同时降低其他资源的使用