Mysql5.7使用DTS增量同步数据到MaxCompute
背景:一些客户反馈,增量同步数据到MaxCompute按照全天的数据做增量数据同步数据量太大,且不使用按天的增量同步数据,进行在MaxCompute上进行数据处理得出增量数据对于delete的相关数据不能做到很好的支持,在次给大家一个对增量数据同步的方案使用DTS做增量同步数据到MaxCompute,数据源为ECS上自建的mysql5.7。
一、为自建MySQL创建账号并设置
1.1登陆自建Mysql数据库
1.2创建mysql数据库中用于数据迁移/同步的账号
CREATE USER 'dtsmigration'@'%' IDENTIFIED BY 'Dts123456';
说明:
- username:待创建的账号。
- host:允许该账号登录的主机,如果允许该账号从任意主机登录数据库,可以使用百分号(%)。
- password:账号的密码。
1.3对账
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【云栖号案例 | 互联网】多来点通过混合云构建异地双活架构数据中心
云栖号案例库:【点击查看更多上云案例】不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司介绍 北京多来点信息技术有限公司成立于2011年,公司旗下“哗啦啦”作为全国头部餐饮SaaS系统服务商,为客户提供有竞争力、安全可信赖的一体化、全链路餐饮SaaS系统数据服务。产品覆盖餐饮全业态、全业务环节,提升餐饮企业数据化、精细化、可视化的运营管理新模式。除餐饮SaaS系统服务外,哗啦啦同时拥有互联网支付牌照和互联网小额贷款牌照为客户提供支付和类金融服务,是一个集餐饮CRM、供应链、O2O、POS支付、三方平台于一体的闭环解决方案服务商。服务全国300+城市和新加坡、伦敦等地区的35万家餐饮企业。 业务痛点 企业业务发展到一定阶段,需要构建IDC与云上跨地域双活架构,降低系统RPO风险。 数据库资源需要快速弹性扩容。 架构上需要具备全球化能力、快速向海外扩展多机房能力。 解决方案 RDS与IDC构建异地双活架构,DTS实现双向同步。 云上使用RDS,资源能快速弹性扩容。 业务使用snowflake算法+标记地域的方式来实现不同区域主键不冲突。 业务维护网关...
- 下一篇
“杀死”运维,可没那么容易!
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 软件项目最初没有的运维部门 大概 12 年前,最初进入软件开发领域,那时一个人需要学很多的开发技能和运维技能,上能后端做服务,下能前端写页面,左能做 DBA,右能做架构,中间还能运维。 那时开发和运维其实没有界限,基本都是一体的,当然也有可能因为公司规模不是特别大,所以分工也没有那么细,也听说过专门有运维部门的公司,但是那时软件运维人员的水平也只能做重复性的工作。 硬件和网络运维这里不讲,而那种比较贵的 DBA,中小公司一般不会请,所以基本上开发≈运维。 软件生命周期中最长的部分在运维阶段,在那个时候开发是要负责整个生命周期的。 那个时候架构很简单,有的应用程序、数据库、文件都部署在一台服务器上: 或者是分开部署,将应用程序、数据库、文件各自部署在独立的服务器上,并且根据服务器的用途配置不同的硬件,达到最佳的性能效果: 数据库的选择一般情况下有三个:大、中型系统使用 Oracle 或者 MSSQL,毕竟会有厂商进行支持,DBA 的质量也比较高。 小型系统一般使用 MySQL,使用的好坏基...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群