Mysql5.7使用DTS增量同步数据到MaxCompute

2020-03-26 645

背景：一些客户反馈，增量同步数据到MaxCompute按照全天的数据做增量数据同步数据量太大，且不使用按天的增量同步数据，进行在MaxCompute上进行数据处理得出增量数据对于delete的相关数据不能做到很好的支持，在次给大家一个对增量数据同步的方案使用DTS做增量同步数据到MaxCompute，数据源为ECS上自建的mysql5.7。

一、为自建MySQL创建账号并设置

1.1登陆自建Mysql数据库

1.2创建mysql数据库中用于数据迁移/同步的账号

CREATE USER 'dtsmigration'@'%' IDENTIFIED BY 'Dts123456';

说明：

username：待创建的账号。
host：允许该账号登录的主机，如果允许该账号从任意主机登录数据库，可以使用百分号（%）。
password：账号的密码。

1.3对账

微信关注我们

原文链接：https://yq.aliyun.com/articles/751836

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【云栖号案例 | 互联网】多来点通过混合云构建异地双活架构数据中心

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司介绍北京多来点信息技术有限公司成立于2011年，公司旗下“哗啦啦”作为全国头部餐饮SaaS系统服务商，为客户提供有竞争力、安全可信赖的一体化、全链路餐饮SaaS系统数据服务。产品覆盖餐饮全业态、全业务环节，提升餐饮企业数据化、精细化、可视化的运营管理新模式。除餐饮SaaS系统服务外，哗啦啦同时拥有互联网支付牌照和互联网小额贷款牌照为客户提供支付和类金融服务，是一个集餐饮CRM、供应链、O2O、POS支付、三方平台于一体的闭环解决方案服务商。服务全国300+城市和新加坡、伦敦等地区的35万家餐饮企业。业务痛点企业业务发展到一定阶段，需要构建IDC与云上跨地域双活架构，降低系统RPO风险。数据库资源需要快速弹性扩容。架构上需要具备全球化能力、快速向海外扩展多机房能力。解决方案 RDS与IDC构建异地双活架构，DTS实现双向同步。云上使用RDS，资源能快速弹性扩容。业务使用snowflake算法+标记地域的方式来实现不同区域主键不冲突。业务维护网关...

2020-03-27

673

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！软件项目最初没有的运维部门大概 12 年前，最初进入软件开发领域，那时一个人需要学很多的开发技能和运维技能，上能后端做服务，下能前端写页面，左能做 DBA，右能做架构，中间还能运维。那时开发和运维其实没有界限，基本都是一体的，当然也有可能因为公司规模不是特别大，所以分工也没有那么细，也听说过专门有运维部门的公司，但是那时软件运维人员的水平也只能做重复性的工作。硬件和网络运维这里不讲，而那种比较贵的 DBA，中小公司一般不会请，所以基本上开发≈运维。软件生命周期中最长的部分在运维阶段，在那个时候开发是要负责整个生命周期的。那个时候架构很简单，有的应用程序、数据库、文件都部署在一台服务器上：或者是分开部署，将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果：数据库的选择一般情况下有三个：大、中型系统使用 Oracle 或者 MSSQL，毕竟会有厂商进行支持，DBA 的质量也比较高。小型系统一般使用 MySQL，使用的好坏基...

2020-03-27

649

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。