MySQL 组复制介绍-低调大师

MySQL 组复制介绍

2017-10-10 867

一、组复制是个什么鬼？

先从 MySQL 的复制技术谈起，首先是 MySQL 的异步复制

异步复制模式下，Master上执行事务产生 binlog，slave 通过连接 master 抓取 binlog 的内容接收到本地的 relaylog 上，然后 apply 对应的事务，产生 slave 服务器上自身的 binlog（由--log-slave-update 参数决定）。流程图如下：

其次是半同步复制，流程图如下

异步复制模式下，如果 slave 全部宕机，则在 master 上的事务无法同步到 slave 上，存在一定的数据安全风险。

半同步复制解决了数据安全风险的问题，在半同步环境下要求至少有一台 slave 接收到 master 的binlog并成功写入到本地的 relaylog, master 上的事务才可以成功提交，这样对主库的事务提交速度会产生一定影响，半同步在数据安全和数据库性能两者之间做了一个中和。

在实际使用过程中，可以通过配置参数（rpl_semi_sync_master_timeout 单位是毫秒，默认为10000，即10s）设定若 slave 在多长时间没有ack返回，同步模式由半同步自动修改为异步同步模式。（mysql半同步工作原理和oracle dataguard的最大保护模式雷同）

组复制分单主模式和多主模式，mysql 的复制技术仅解决了数据同步的问题，如果 master 宕机，意味着数据库管理员需要介入，应用系统可能需要修改数据库连接地址或者重启才能实现。（这里也可以使用数据库中间件产品来避免应用系统数据库连接的问题，例如 mycat 和 atlas 等产品）。组复制在数据库层面上做到了，只要集群中大多数主机可用，则服务可用，也就是说3台服务器的集群，允许其中1台宕机。组复制的流程图如下：

组复制的特点：

● 高一致性

基于原生复制及 paxos 协议的组复制技术，并以插件的方式提供，提供一致数据安全保证；

● 高容错性

只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制；

● 高扩展性

节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息；

● 高灵活性

有单主模式和多主模式，单主模式下，会自动选主，所有更新操作都在主上进行；

多主模式下，所有 server 都可以同时处理更新操作。

二、什么样的应用场景适合用组复制？

1、弹性的数据库复制环境

组复制可以灵活的增加和减少集群中的数据库实例

2、高可用的数据库环境

组复制允许数据库实例宕机，只要集群中大多数服务器可用，则整个数据库服务可用

3、替代传统主从复制结构的数据库环境

三、组复制的有哪些先决条件？

1、只支持innodb存储引擎

2、每张表都需要有主键

3、只支持ipv4网络环境

4、要求高网络带宽(通常是千兆内网)和低网络延迟

以下的参数在mysql数据库实例上必须要配置

1、--log-bin=bin-log #记录mysql的binlog

2、--log-slave-update #记录slave上进行apply relay-log时的binlog

3、--binlog-format=row #binlog的格式为行模式

4、--gtid-mode=on #开启gtid模式

5、--master-info-repository=TABLE #将master-info信息记录到mysql表当中

6、--relay-log-info-repository=TABLE #将relay-log信息记录到mysql表当中

7、--transaction-write-set-extraction=XXHASH64 #每个事务收集的wirte set和encode使用xxhash64哈希算法

8、开启多线程复制

--slave-parallel-workers=N #N为具体的复制线程个数

--slave-preserve-commit-order=1 #slave上apply relay-log时事务顺序提交

--slave-parallel-type=LOGICAL_CLOCK #使用多线程复制

四、组复制有哪些限制条件？

1、Replication Event Checksums

由于代码设计的原因，目前组复制还不能支持binlog的checksum,如果要使用组复制，需要配置binlog-checksum=none

2、Gap Locks

组复制校验的进程不支持间隙锁，mysql间隙锁的设计是为了解决幻读问题

3、Table Locks and Named Locks

组复制校验的进程不支持表级锁和named locks

4、SERIALIZABLE Isolation Level

组复制不支持串行事务级别

5、Concurrent DDL versus DML Operations

组复制的多主模式不支持并行的DDL和DML操作

6、Foreign Keys with Cascading Constraints

组复制的多主模式不支持带有级联约束类型的外键

7、Very Large Transactions

组复制不支持巨大的事务

参考：

https://dev.mysql.com/doc/refman/5.7/en/group-replication.html

微信关注我们

原文链接：https://blog.51cto.com/ylw6006/1971139

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

某商超虚拟化方案

◆ 现状通过初步沟通，了解到如下情况： 1、服务器数量多：目前是每个门店一台服务器，承担本地的业务和数据存储；总部为多台服务器，每个 erp 模块使用一台服务器。目前有六个模块，加上数据库等服务器，数量预估在 10 台左右（需要大致确认一下）。如果加上门店的服务器，数量可能会更多一些。 2、可用性低：（1）门店服务器及总部服务器都存在单点，任何一个设施故障，都可能导致业务停止。（2）服务器放总部办公室，稳定性（网络、电力保障等）比较低，后期扩容也不灵活。 3、管理成本高：基础设施分布到不通的区域，人力和时间成本不可忽视。 ◆ 基本目标 ◎ 简化结构：去掉各个门店的中间层服务器，让门店终端直接连接到总部的服务器。先前因为担心网络中断而导致本地业务终止，可以通过多接入线路解决掉（联通电信加无线4G）。网络接入的成本，由于取消服务器而降低维护成本和设备成本、能源耗费，基本可以抵消掉，甚至更低一些。 ◎ 提高保障能力：建议把总部服务器托管到专业的 idc 机房，电力、网络、服务保障都是办公室场景无法比拟的。托管到电信运营商的idc机房可能会比自己拉专线成本高一些（具体成本请咨询当...

2017-10-09

531

最近由于新公司需要招聘运维人员，所以接触了大量应聘者，基本都是85后的年轻人。在他们身上看到年轻的活力，也看到浮躁社会留下的烙印。作为一个奔5的老IT运维人员，真心希望他们少走自己的弯路，能够成就自己的一番事业，所以想对他们说一说心里话。运维人员与开发人员不同，由于基础架构部分的变动不是很大，因此运维人员是越老越值钱的。但这个活儿不是人人都能干到老的，我认为要满足如下的几个条件。一、基础要扎实这是我在面试过程中感受最深的一个问题，年轻人的基础太不扎实了！我在面试的时候问的都是最基础的问题，许多人答不上来。还有人给我的理由是：那是大二学的东西，现在忘了。我超级无语。说出来你们可能都不相信，对于网络运维人员我通常问的一个问题是：TCP/IP建立连接的过程是什么？而对于Windows运维人员，我的问题是：Windows域的核心是什么？在未获得满意答复的情况下，我一般会问：这些问题如果不清楚的话，你是如何排错的呢？接下来就没有下文了，少数的人会告诉我看日志。这个问题之所以被我列在第一项，是因为它太重要了！没有坚实的理论基础，无从指导实践，没有大量的实践积累，不能成为好的运维人员，更不...

2017-10-22

645

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。