MaxCompute多团队协同数据开发项目管理最佳实践
MaxCompute多项目管理最佳实践
背景介绍:
厦门美柚科技有限公司,创始于2013年4月,是一家专注为女性服务的互联网公司。秉承“让女人更美更健康”的理念,美柚以经期管理为切入点,为女性提供备孕、怀孕、育儿、社区交流等功能服务。目前,美柚用户超过1亿,日活跃用户近千万,拥有约160个高活跃的女性话题圈,社区内用户日均互动量超500万帖,日均浏览量超过1.8亿次。之前各种数据开发、数据支持、数据挖掘都在同一个项目中,随着公司业务线的不断扩充,规模的不断壮大,参与大数据开发的部门(团队,人数)也越来越多,单项目的弊端慢慢显现出来:
发现弊端:
- 权限管理混乱,任务和数据经常被他人修改、覆盖
- 开发人员众多,水平参差不齐,任务依赖比较混乱,一旦有任务失败,会导致多条业务线无法正常产出数据
- 争抢计算资源,导致重要任务因抢不到资源无法如期完成
- 由于人员