数据一致性校验及数据同步,运维必看-低调大师

数据一致性校验及数据同步,运维必看

2020-09-08 772

主从数据不一致对DBA来说是一个比较头疼的事情，刚接触MySQL时，遇到这种问题我一般采用重新还原备库的方式恢复数据，这对我来说是个很痛苦的过程。今天就来介绍两款pt工具，通过这两款工具可以针对数据不一致的情况进行快速检测和修复。

pt-table-checksum

pt-table-checksum可以在线校验主从数据库的一致性，他可以在主库上执行检查语句，在线检查MySQL复制的一致性，然后生成replace语句，通过复制传递到从库，再更新master_crc的值。最后通过检测从服务器的this_crc和master_crc的值判断主从数据是否一致。如果复制有延迟，在从库的checksum会暂停直到赶上主库的计算时间点。

注意事项：

1. 主从数据库必须是同步状态。

2. 表中要有主键或者唯一索引。

使用示例

1. 首先我们先创建一个校验用户

mysql> grant select,insert,update,delete,create,drop,super,process,replication slave on *.* to 'syncuser'@'%' identified by 'Syncuser@123';

2. 通过pt-table-checksum命令对主从数据进行校验。

[root@node1 ~]# pt-table-checksum -usyncuser -pSyncuser@123 --nocheck-replication-filters --no-check-binlog-format --databases=test --replicate=test.checksums --create-replicate-tableChecking if all tables can be checksummed ...Starting checksum ...            TS ERRORS  DIFFS     ROWS  DIFF_ROWS  CHUNKS SKIPPED    TIME TABLE09-04T21:36:43      0      0        0          0       1       0   0.089 test.efs_sys_loginfo409-04T21:36:43      0      0     1006          0       1       0   0.089 test.groupby09-04T21:36:43      0      0        0          0       1       0   0.030 test.groupby109-04T21:36:43      0      1     1006          0       1       0   0.030 test.groupby209-04T21:36:43      0      0        7          0       1       0   0.030 test.student09-04T21:36:43      0      0        7          0       1       0   0.032 test.student109-04T21:36:43      0      1        0          8       1       0   0.034 test.t09-04T21:36:43      0      0    57344          0       4       0   0.328 test.t109-04T21:36:43      0      1        1          0       1       0   0.028 test.test09-04T21:36:43      0      0        8          0       1       0   0.036 test.tuser

3. 参数详解

--nocheck-replication-filters：不检查复制的过滤规则，比如replicate-ignore-db、replicate-wild-do-table。

--no-check-binlog-format：不检查复制的binlog模式，如果binlog模式是row模式，需要启用该参数。

--create-replicate-table：第一次进行checksum需要启用该参数，会进行checksum表的创建，用于存放结果。

--replicate=test.checksums：存放checksum结果的表。

--databases：表示要检查的库。

--tables(-t):表示要检查的表。

--replicate-check-only：表示只显示不同步的表。

--recursion-method：正常情况下工具会自动识别从库，如果识别失败，可以用该参数指定查找slave的方法，参数有四种，分别是processlist、hosts、dsn=DSN、no四种，用来决定查找slave的方式是通过show processlist、show slave hosts还是通过dsn=DSN的方式。

采用dsn=DSN方式时需要先创建dsn表，建表语句如下：

CREATE TABLE `dsns` (`id` int(11) NOT NULL AUTO_INCREMENT,`parent_id` int(11) DEFAULT NULL,`dsn` varchar(255) NOT NULL,PRIMARY KEY (`id`));

然后插入主从复制关系：

insert into dsns(dsn) values('h=36.30.39.176,u=syncuser,p=Syncuser@123,P=3306');

这样就可以采用dsn方式了，--recursion-method dsn=D=test,t=dsns。

4. 结果分析

TS            ERRORS  DIFFS    ROWS  DIFF_ROWS  CHUNKS SKIPPED  TIME TABLE09-04T22:29:52    0      0       1         0       1         0   0.029  test.dsnsTS:完成检查的时间ERRORS：错误和告警的数量。DIFFS：是否一致，0代表一致，1代表不一致。ROWS：表的行数DIFF_ROWS：CHUNKS：划分的块的数目SKIPPED：跳过的块的数目TIME：执行时长TABLE：表名

pt-table-sync

我们上面介绍了pt-table-checksum可以检查主从数据的一致性，接下来我们就来说一下如何进行主从数据的同步。参考官方文档时就已经晕了，写出来之后难免有纰漏之处，还请读者朋友多多批评指正。

该工具采用replace into的方式同步数据，建议同步的表上要有主键或者唯一索引，否则replace into就和普通的insert语句一样了，会导致主库出现数据重复的情况。如果表上没有主键，变更需要再从库执行命令，并且指定--no-check-slave。

该工具可以以两种方式运行，当使用--replicate参数时，会使用由pt-table-checksum命令检测的结果进行同步，否则它会自动检测不一致并且修复。

当你使用了--replicate时，说明已经通过checksum工具检测出差异并保存在数据表里了，需要确定是否使--sync-to-master选项，如果使用该选项，则表示在使用pt-table-sync时仅接受一个DSN主机，并且是slave的DSN。工具会自动找出它的主库，找出差异进行同步。

如果你没有指定--sync-to-master参数，则DSN代表的是主库，工具会自动它的从库进行数据同步。

如果不使用--replicate，则分为以下几种情况：

当只有一个DSN信息时，并且指定了--sync-to-master，那么DSN信息必须是从库，否则会报错。

当有多个DSN主机时，第一个DSN是源端数据库，这时候并不区分主库或者从库，它会按照顺序向后面的DSN主机同步数据。

使用示例：

1. 在上面的例子中，我们已经通过pt-table-checksum检测出主从的不一致的表，接下来我

们开始进行同步。下面的命令中指定了--replicate，并且未指定--sync-to-master，则-h代表主库。

pt-table-sync  h=36.30.39.117,P=3306,u=syncuser,p=Syncuser@123 --database=test --replicate='test.checksums' --execute

2. 同时指定--replicate和--sync-to-master，DSN只能有一个，且为从库。

pt-table-sync  h=36.30.39.176,P=3306,u=syncuser,p=Syncuser@123 --database=test --tables=t1 --replicate='test.checksums' --sync-to-master --execute

3. 如果只指定一个DSN，那么必须使用--replicate或者--sync-to-master中的一个，否则报错： At least one DSN is required, and at least two are required unless --sync-to-master or --replicate is specified。这里我们指定了--sync-to-master，那么DSN信息就代表了从库。

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

4. 当有多个DSN时，如果指定了--sync-to-master,那么所有的主机均为从库。否则报错：

Can't determine master of D=test,h=…..,p=...,t=t1,u=syncuser at /usr/bin/pt-table-sync line 10020.

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 h=36.30.39.213,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

5. 多个DSN，不指定--sync-to-master和--replicate，如果需要修复从库的数据需要指定

--no-check-slave。

pt-table-sync h=36.30.39.117,u=syncuser,p=Syncuser@123,D=test,t=t1  h=36.30.39.176,u=syncuser,p=Syncuser@123 h=36.30.39.213,u=syncuser,p=Syncuser@123 --no-check-slave –execute

参数详解：

--ask-pass： 连接MySQL时提示输入密码。

--[no]bin-log： 指定是否记录二进制日志，如果是--no-bin-log相当于执行了set sql_log_bin=0.

--[no]check-slave： 检测目标服务器是否是从库。如果目标服务器是从库的话，直接对其变更是不安全的，但是有时候必须要这么做，所以此时需要指定参数--no-check-slave。

--chunk-size： 指定表分块的chunk大小。

--dry-run： 分析同步的过程，并打印出信息退出，并不实际执行。

--execute： 指定工具执行变更操作，使表数据达成一致。

--print： 打印出工具需要执行哪些语句来变更表。

--wait： 如果存在主从延迟，从库可以等待多长时间追上主库，等待的时间由该参数设置，超时会终止退出。

DSN选项：

DSN syntax is key=value[,key=value...]  Allowable DSN keys:  KEY    MEANING  ===    =============================================  A       指定字符集  D       同步的数据库  P       端口  S       Socket文件  h       要连接的host  p       数据库密码  t       要同步的表  u       数据库用户

注意事项及建议

1. 当出现主从不一致时，我们需要判断哪个库的数据是正确的，大多数情况我们希望在主库执行变更并且同步到从库。

2. 建议要同步的表要有主键，避免出现数据重复的问题。

3. 执行变更命令前先通过--print或者--dry-run进行检查。

4. 使用多个DSN选项时，按照数据同步方向填写主机信息，如果有从库需要配合--no-check-slave参数使用。

5. 该工具在进行校验分析时会对表执行for update操作，避免在业务高峰期进行。

本文分享自微信公众号 - MySQL数据库技术栈（Mysqltechnology）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/3678773/blog/4554047

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

面试官问我什么是「栈」，我随手画了10张图来解释

关注、星标公众号，直达精彩内容 ID：技术让梦想更伟大作者:李肖遥栈的概念栈（stack）是限定仅在表的一端进行操作的数据结构，且栈是一种先进后出的数据结构，允许操作的一端称为栈顶，不允许操作的称为栈底，如下图所示：之前我们讲到了链表，我们只能够对其链表的表尾结点进行操作，并且只能进行插入一个新的结点与删除最末尾的这个结点两个操作，而这样强限制性的‘链表’，就是我们所说的栈。就像是一个死胡同一样，只有一个出口，如图所示，有个概念：栈的结点设计栈分为数组栈和链表栈，其区别如下：数组栈使用数组进行功能的模拟，实现较为快速和便利；链表栈使用链表的思路去设计，实现相比较说较为麻烦，但是其稳定，且不易出错；在链表栈中又分为静态链表栈和动态链表栈，其区别如下：静态链表栈给定栈的空间大小，不允许超过存储超过给定数据大小的元素；动态栈使用的是自动创建空间的方法进行创建，只要符合机器的硬件要求以及编译器的控制，其理论上是极大的。数组栈其实际就是用一段连续的存储空间来存储栈中的数据元素，有以下特点：元素所占的存储空间必须连续，这里的连续是指的逻辑连续，而不是物理连续。元素...

2020-09-08

558

SpringBoot 有两个关键元素： @SpringBootApplication SpringApplication 以及 run() 方法 SpringApplication 这个类应该算是 Spring Boot 框架的“创新”产物了，原始的 Spring 中并没有这个类，SpringApplication 中封装了一套 Spring 应用的启动流程，然而这对用户完全透明，因此我们上手 Spring Boot 时感觉很简洁、轻量。一般来说默认的 SpringApplication 执行流程已经可以满足大部分需求，但是若用户想干预这个过程，则可以通过 SpringApplication 在流程某些地方开启扩展点来完成对流程的扩展，典型的扩展方案那就是使用 set 方法。比如，把我们天天司空见惯的 Spring Boot 应用的启动类来拆解一下写出来就是这样： @SpringBootApplication public class CodeSheepApplication { public static void main( String[] args ) { //Spr...

2020-09-09

724

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。