基于HybridDB for MySQL的企业ODS方案
随着DT时代的到来,数据的价值日益凸显。企业积累的数据越来越多,数据库的规模也达到成百上千个实例,数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例,利用尽可能短的时间窗口进行挖掘分析,成为各个企业IT管理中的核心问题。 当前方案,在线处理和离线分离,系统架构详见下图 常见业务场景 1、为了满足分析需要,ETL策略为ELT(Extraction-Loading-Transformation),将全量数据同步到大数据平台中(MaxCompute、EMR、或自建Hadoop)中进行离线运算,定期完成数据整合后供如决策支持类分析型应用使用。 2、自建或者云上的大数据平台拉取生产数据: a)不允许入侵到生产库,以免引起生产库的性能波动。 b)生产数据库申请只读实例,并设定相关权限。 c)大数据平台可通过同步工具(DTS