dataworks分钟级别数据增量同步
一、目的
本文实现的是,十分钟调度的mysql数据增量同步到maxcompute最新分区中。
二、配置
- 创建rds表,建表语句如下
create table if not exists mysql_test( id INT, addtime DATETIME );
2.创建maxcompute表,建表语句如下
id bigint, addtime datetime ) partitioned by (intime string);
3.配置同步任务,截图如下
其中数据过滤参数配置为
date_format(addtime,'%Y-%m-%d %H:%i:%s') <= '${key1} ${key3}'
分区信息为
含义是将最近十分钟的数据过滤出来,同步到maxcompute表的最新分区中(每十分钟创建一个分区)。
4.同步任务调度配置(主要是参数配置和时间间隔,以及生成实例方式),截图如下
其中参数为
key1=$[yyyy-mm-dd] key2=$[hh24:mi:ss-10/24/60] key3=$[hh24:mi:ss]
key1:当前的日期,格式是yyyy-mm-dd
key2:十分钟前的时间,格式是hh24:mi:ss
key3:当前时间,格式是hh24:mi:ss
参数说明参考
时间间隔配置为10分钟
生成实例方式为发布后及时生成
5.保存同步任务、提交
三、验证
1.确定十分钟的周期实例已经生成,可以在运维中心查看
2.向mysql的表mysql_test插入两条数据,具体sql如下
Insert into mysql_test values(2,date_add(now(), interval 10 MINUTE_SECOND));
数据如下
(上面两条数据是之前插入的,忽略就好)
3.之前插入数据的addtime分别是2019-12-25 23:39:28和2019-12-25 23:39:38,这两条数据会插入到intime=2019-12-25 23:40:00的分区中,等待10分钟后查看结果,~~~10分钟过去了,截图如下,可以使用如下语句验证
4.大功告成!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Jenkins CLI 命令行 v0.0.24
本次发布,主要增加了 jcli 对凭据、计算节点的管理能力,以及通过 jcli 启动 jenkins.war。 对于部分子命令,还可以通过参数--doctor来实现错误诊断。 部分数据指标 测试覆盖率:87.1% 下载量:2.8k+ 贡献者:9 更多内容,请参考官方文档 ? 功能 增加对配置即代码插件的支持 (#265) @LinuxSuRen 为 jcli 增加 Docker 镜像 (#260) @LinuxSuRen 增加 Jenkins 的 go 语言客户端的文档 (#256) @1179325921 支持获取 Jenkins 的唯一标识信息 (#292) @LinuxSuRen 支持在命令行中设置 Jenkins 连接地址 (#291) @LinuxSuRen 支持通过管理员为 Jenkins 的其他用户创建令牌 (#289) @LinuxSuRen 支持创建 JNLP 类型的计算节点 (#290) @LinuxSuRen 改进命令行的数据输出 (#285) @LinuxSuRen 增强 Jenkins 任务的搜索功能 (#284) @LinuxSuRen 增加搜索 Jenk...
- 下一篇
报名 | 平头哥应用嘉年华,带上创意“趣”开发
11月份,平头哥半导体首次举办了平头哥“蜜友会”线下技术工作坊。 活动公告发出两天便接到了百余名开发者的报名。按照申请顺序,平头哥邀请了部分开发者来到了沙龙现场,共同体验了平头哥“YoC+CDK+OCC”端云一体的开发模式。 遗憾的是由于活动名额的限制,很多同学未能到现场与平头哥亲密接触。如果你感到好奇:平头哥介绍了哪些业务信息?现场体验了什么产品?什么时候会有第二次活动? 那么,机会来了。 应用嘉年华来啦 平头哥应用嘉年华将秉持,多元、开放、乐趣、创新的理念,旨在激发物联网创意,汇聚开发人才,孵化商业成果。系列线上+线下的技术活动等你参加。 活动攻略 适合人群:怀揣技术改变生活梦想的技术人、热爱传道受业解惑的技术大牛、想要结交语音大咖的技术少年、持续关注平头哥的技术粉丝们。 活动玩法:嘉年华各活动相互独立,开发者可以根据自己的爱好和时间情况
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果