dataworks分钟级别数据增量同步
一、目的 本文实现的是,十分钟调度的mysql数据增量同步到maxcompute最新分区中。 二、配置 创建rds表,建表语句如下 create table if not exists mysql_test( id INT, addtime DATETIME ); 2.创建maxcompute表,建表语句如下 id bigint, addtime datetime ) partitioned by (intime string); 3.配置同步任务,截图如下 其中数据过滤参数配置为 date_format(addtime,'%Y-%m-%d %H:%i:%s') <= '${key1} ${key3}' 分区信息为 含义是将最近十分钟的数据过滤出来,同步到maxcompute表的最新分区中(每十分钟创建一个分区)。 4.同步任务调度配置(主要是参数配置和时间间隔,以及生成实例方式),截图如下其中参数为key1=$[yyyy-mm-dd] key2=$[hh24:mi:ss-10/24/60] key3=$[hh24:mi:ss]key1:当前的日期,格式是yyyy-mm-ddke...

