美柚与MaxCompute数据同步架构说明
大美柚与MaxCompute数据同步架构说明 2017/8/10 九戒 本文涉及到的重要概念: MaxCompute:简单可以理解为开源的hadoop集群,可提供我们常用的MapReduce和SQL计算模型和数据存储. 数加:基于MaxCompute之上封装的便于我们使用和管理MaxCompute的一个壳 ECS:阿里的云服务器 tunnelServer:用于和MaxCompute上传下载的数据通道 Datax:是一个异构数据源离线同步工具,Datax的odps插件底层基于tunnel SDK实现. 默认资源:数加提供的用于运行Datax的服务器资源(常用于和MaxCompute之间的数据同步),目前只有在华东2区(上海)有机器 自定义资源:我们提
