如何使用Kafka Connect实现同步RDS binlog数据
1. 背景
在我们的业务开发中,往往会碰到下面这个场景:
- 业务更新数据写到数据库中
- 业务更新数据需要实时传递给下游依赖处理
所以传统的处理架构可能会这样:
但这个架构也存在着不少弊端:我们需要在项目中维护很多发送消息的代码。新增或者更新消息都会带来不少维护成本。所以,更好的处理方式应该是直接将数据库的数据接入到流式系统中,如下图:
本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。
2. 环境准备
实验中使用VPC网络环境,以下实例创建时默认都是在VPC环境下。
2.1 准备一个测试RDS数据库
创建一个RDS实例,版本选择5.7。这里不赘述如何创建RDS,详细流程请参考RDS文档。创建完如图:
2.2 准备一个Kafka集群
创建一个E-MapReduce Kafka集群,版本选择EMR-3.11.0。需要注
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
AMD携阿里云提供AMD Radeon Pro GPU技术的云计算
加利福尼亚州森尼维尔——2016年10月14日——今天,在阿里巴巴云栖大会上,AMD(NASDAQ: AMD)总裁兼首席执行官苏姿丰博士(Dr. Lisa Su)与阿里巴巴集团旗下阿里云公司总裁胡晓明共同宣布,两家公司将携手合作,加强对在阿里云全球数据中心中使用AMD Radeon™ Pro GPU技术的研究与合作。凭借这一合作伙伴关系,阿里云计划利用AMD技术扩展其云计算产品,加速阿里云服务的市场应用。 阿里云总裁胡晓明表示:“AMD和阿里云合作伙伴关系的达成能够为双方客户提供更加多元的云端图形处理解决方案。我们愿与AMD这样领先的科技公司合作,以尖端的技术和计算能力推动各产业的业务发展。” AMD总裁兼首席执行官苏姿丰博士(Dr. Lisa Su)表示:“AMD与阿里云的合作将利用两家公司世界一流的技术和软件工程上的能力,满足不断增长的GPU计算解决方案的需求,提供更具沉浸感、更直观的云服务。AMD与业界领袖阿里云紧密合作,确保AMD在高性能显卡和计算数据中心产品方面的投入能够继续满足更加广泛的云市场的需求。” AMD在云栖大会现场有更多精彩展示,其中包括: •采用AMD Rade...
- 下一篇
“互联网+教育”时代 亚信安全助力江汉大学“安全”云化
“互联网+教育”已经进入深度融合阶段,各大高校纷纷在智慧校园基础上推出大批面向“互联网+”的创新应用,江汉大学(以下简称:“江大”)便是其中之一。为了推进“互联网+教育”战略落地,确保智慧校园基础设施和师生网络应用安全,江大携手亚信安全构建智慧校园安全防御体系,通过部署亚信安全服务器深度安全防护系统(Deep Security)以及亚信安全深度威胁发现设备(TDA),有力提升了云数据中心和校园网的安全管理水平。 智慧校园安全体系暴露“短板” 江大是经中国教育部批准,由原江汉大学、华中理工大学汉口分校、武汉职工医学院、武汉教育学院等高校合并组建的一所公立的综合性普通高等学校。学校实行湖北省、武汉市共建,以武汉市为主的办学体制,是省、市重点建设大学。截止2015年12月,学校共有专任教师1066人,全日制在校生近1.8万人。 江大教育信息化起步较早,早在2002年7月便建成了学校校园网并正式投入运行。2012年,江大开启了智慧校园一期项目建设,大量智慧应用在校园内外不断落地。然而,在大量新建业务系统入驻云计算数据中心之后,黑客攻击、恶意程序感染等一系列威胁如影随形。同时,江大还遇到了虚拟化...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题