技术分享 | 基于 GTID 的多源复制-低调大师

技术分享 | 基于 GTID 的多源复制

2020-11-03 576

作者：马文斌

MySQL OCP 认证，PostgresSQL PGCA 认证，擅长 MySQL、PostgreSQL、dble 等开源数据库相关产品的备份恢复、读写分离、SQL 调优、监控运维、高可用架构设计等。目前任职于月亮小屋(中国)有限公司。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

一、背景

有 4 个地区工厂的数据，需要同步到 idc。之前有个方案是用阿里的 otter 管理平台去同步到 idc 机房。运行一段时间过后，发现 otter 平台会不断的往 idc 发包，建立几百个空连接，这样导致 idc 的网络造成拥堵。

后来经过讨论，还是采用 MySQL 源生自带的主从复制方案，那源生自带的主从复制方案又有两种：一种是 GTID；一种是 pos 位点信息。那为什么要采用 GTID 复制呢？肯定有他的优势。

这里简单列举了几点：

1. 如果是单源复制的情况下，可以很方便的搭建主从；

为什么方便？比如只需要开启 master_auto_Position=1 即可；

2. 基于 GTID 的复制可以忽略已经执行过的事务，减少了数据发生不一致的风险；

3. 避免因为设置位点信息不准确而造成主从不一致的情况。

下面开始做多源复制的操作。

二、 服务器情况说明

MySQL 版本：8.0.18

三、导出数据

导出 4 个工厂的数据到 192.168.100.5，在该服务器上运行：

cd /data/backupmysqldump -uroot -p -h192.168.100.1 --master-data=2 --single-transaction  db01 >db01.sqlmysqldump -uroot -p -h192.168.100.2 --master-data=2 --single-transaction  db02 >db02.sqlmysqldump -uroot -p -h192.168.100.3 --master-data=2 --single-transaction  db03 >db03.sqlmysqldump -uroot -p -h192.168.100.4 --master-data=2 --single-transaction  db04 >db04.sql

四、设置 GTID 值

4.1 导入数据

这里只先导入 3 个实例的数据，然后开启主从，最后再添加一个，我们看看这样是否方便添加。

4.2 导入三个实例

use db01;source /data/backup/db01.sql;use db03;source /data/backup/db03.sql;use db04;source /data/backup/db04.sql;stop slave ;reset slave all;reset master; # 这个命令会把本地的 binlog 给清理掉，慎用show master status \G             File: mysql-bin.000001         Position: 155     Binlog_Do_DB: Binlog_Ignore_DB:Executed_Gtid_Set:        # GTID 为空

4.3 设置 GTID

SET @@GLOBAL.GTID_PURGED=/*!80000 '+'*/ '39e42c4d-876f-11ea-8229-286ed488e793:1-31,8a426026-b5e7-11ea-8816-0050568399c4:1-62183,f3d8b026-ba76-11ea-985d-000c29b82d1f:1-36244,39e42c4d-876f-11ea-8229-286ed488e793:1-31,5d7ef438-f249-11ea-a518-0894ef181fcf:1-5980,8a426026-b5e7-11ea-8816-0050568399c4:1-56548';

4.4 设置主从关系

change master to master_host='192.168.100.1',master_user='repl',master_password='123456',master_auto_Position=1 for channel 'ims_guangzhou';change master to master_host='192.168.100.3',master_user='repl',master_password='123456',master_auto_Position=1 for channel 'ims_tianjin';change master to master_host='192.168.100.4',master_user='repl',master_password='123456',master_auto_Position=1 for channel 'ims_kunshan';
start slave;show slave status\G
# 在 100.1 广州工厂建一个测试表试下，能不能同步use db01;create table tb1(id int primary key);

在 100.5 的 db01 的库上是可以查的，说明可以同步。

五、尝试添加从库

为什么要尝试添加一个从库，这里主要是测试下，看看添加一个从库，麻不麻烦？如果不麻烦的话，还是可以用 GTID 的模式的。

5.1 找到最后一个库的 GTID

SET @@GLOBAL.GTID_PURGED=/*!80000 '+'*/ 'a97612c1-b947-11ea-bcf9-005056812835:1-19065';

5.2 终止 slave

stop slave

5.3 加入其他的 GTID

先把主库的 binlog 先备份下，

/data/mysqlLog/logsmkdir binlogbakcp mysql-bin.000001 binlogbak/
# 设置多个 GTIDSET @@GLOBAL.GTID_PURGED=/*!80000 '+'*/ 'a97612c1-b947-11ea-bcf9-005056812835:1-19065,39e42c4d-876f-11ea-8229-286ed488e793:1-31,5d7ef438-f249-11ea-a518-0894ef181fcf:1-6107,8a426026-b5e7-11ea-8816-0050568399c4:1-62290,f3d8b026-ba76-11ea-985d-000c29b82d1f:1-36379'

5.4 添加从库

change master to     master_host='192.168.100.2',    master_user='repl',    master_password='123456',    master_auto_Position=1 for channel 'ims_chongqing';

5.5 查看是否同步

# 在 100.1 上删除 tb1use db01;drop table tb1;
# 在 100.5 上查看是否同步：use db01;show tables;+--------------------------------+| Tables_in_db01 |+--------------------------------+| equitment_info                 || event_code_info                || ims_monitor                    || oee_data                       || oee_process_re                 |+--------------------------------+

表不见了，说明已经同步。

六、总结

GTID 对于单源复制还是很方便，但是对于多源复制，这里就需要特别注意：

要先停止所有的从库 stop slave;
然后清理本机所有的 GTID，reset master;
再进行 SET @@GLOBAL.GTID_PURGED='xxxxx' gtid 设置

这里就会引入一个问题，如果是级联复制的情况下，reset master 的时候，会把本机的所有 binlog 清理掉。如果下一级的从库存在延迟，没有及时的把 binlog 传过去，就会造成主从中断，这里我们该怎么避免呢？看这里：

做 reset master 的时候，先看看下游的从库是否存在很大的延迟。如果存在，把当前的 binlog 和后面未同步的 binlog 全部备份下；
待添加好从库的 channel 后，再把未同步的 binlog 文件手动拷贝到 binlog 目录；
更新下 mysql-bin.index 文件；
注意，binlog 不能同名，需要手动更新下文件。

没用过这几招，别说你会使用Jupyter Notebook！

如果你想用Python进行数据分析，那么Jupyter notebook是你必须要熟练掌握的工具之一，而Notebook也有很多省时好用的小技巧，本文将分享我在使用Notebook时习惯使用的一些操作！ 1.在Notebook中安装第三方库有时我们在进行数据分析的过程中，或者是使用一些在线/远程Notebook，需要临时安装一个第三方库，如果从命令行(甚至没有命令行界面)安装后再重启notebook，那么所有进度都将丢失！这时我们可以使用！pip install xxx 就可以直接在notebook将第三方库安装到本地，比如安装pyecharts !pipinstallpyecharts 其实!就是在notebook中执行shell语句的符号，你也可以使用!来执行! ls等任意命令行代码。 2.在Notebook中使用markdown 以前经常有粉丝让我帮忙给他看代码，发来的.ipynb文件打开后，所有说明性的文字都用#来注释给出，读起来那是一个难受。其实在Notebook中也可以使用markdown语句，写文字、打公式、贴图片都很轻松，就像上图一样只需要选中目标单元格，然后...

2020-11-04

487

看几个基础的注解 @AliasFor @Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) @Documented public @interface AliasFor { @AliasFor("attribute") String value() default ""; @AliasFor("value") String attribute() default ""; Class<? extends Annotation> annotation() default Annotation.class; } AliasFor这个注解很奇怪，value的别名是attribute，attribute的别名是value 那么它的行为在哪里被定义的呢？在AnnotationTypeMapping中我们可以找到答案 // 这里使用了AnnotationsScanner的getDeclaredAnnotation方法来获取所有的AliasFor注解的方法 // AnnotationsScanner 是spring中...

2020-11-04

405

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。