图文结合带你搞懂InnoDB MVCC-低调大师

图文结合带你搞懂InnoDB MVCC

2022-10-25 369

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。
GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。

- 前情提要
- 当前读
- 快照读
什么是MVCC
- 三个隐藏字段
- Undo Log回滚日志
- MVCC版本链
- ReadView读视图
不同隔离级别下MVCC分析
- READ-COMMITTED隔离级别
- REPEATABLE-READ隔离级别

前情提要

事务有四大特性ACID分别是：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）

其中隔离性是通过数据库的锁加上MVCC(多版本并发控制)来保证的。

在介绍MVCC之前先来了解一下当前读和快照读。

当前读

当前读读取的是记录的最新版本。同时在读取的时候还要保证其他的并发事务不能更改当前记录，那么当前读会对它要读取的记录进行加锁。不同的操作会加上不同类型的锁，如：SELECT ... LOCK IN SHARE MODE(共享锁)，SELECT ... FOR UPDATE、UPDATE、INSERT、 DELETE(排他锁)。

快照读

简单的不加锁的SELECT就是快照读，快照读读取的是快照生成时的数据，不一定是最新的数据，它是不加锁的非阻塞读。而不同隔离级别下，创建快照的时机也不同：

READ-COMMITTED(读已提交)：事务每次SELECT时创建ReadView
REPEATABLE-READ(可重复读)：事务第一次SELECT时创建ReadView，后续一直使用

在MySQL默认隔离级别(REPEATABLE-READ)下，快照读保证了数据的可重复读。

什么是MVCC

MVCC全称Multi-Version Concurrency Control，即多版本并发控制。它是一种并发控制的方法，它可以维护一个数据的多个版本，用更好的方式去处理读写冲突，做到即使有读写冲突也能不加锁。MySQL中MVCC的具体实现，还需要依赖于表中的三个隐藏字段、Undo Log日志以及ReadView。

三个隐藏字段

mysql> SHOW CREATE TABLE stu \G;
*************************** 1. row ***************************
       Table: stu
Create Table: CREATE TABLE `stu` (
  `id` int NOT NULL,
  `name` varchar(10) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)

mysql> SELECT * FROM stu;
+----+--------+
| id | name   |
+----+--------+
|  1 |   m    |
|  2 |   f    |
+----+--------+

当创建了上述这张表后，我们在查看表结构时只能看到id、name字段，实际上除了这两个字段外，InnoDB引擎还自动为我们添加了三个隐藏字段，见下表：

字段	含义
DB_TRX_ID	最近修改事务ID，记录插入这条记录或最后一次修改该记录的事务ID。
DB_ROLL_PTR	回滚指针，指向这条记录的上一个版本，用于配合Undo Log，指向上一个版本。
DB_ROW_ID	隐藏主键，如果表结构没有指定主键，将会生成该隐藏字段。

我们可以使用ibd2sdi工具来从表空间文件中提取序列化的字典信息（SDI），来验证一下这三个隐藏字段是否存在。

["ibd2sdi"
,
{
	"type": 1,
	"id": 402,
	"object":
		{
    "mysqld_version_id": 80025,
    "dd_version": 80023,
    "sdi_version": 80019,
    "dd_object_type": "Table",
    "dd_object": {
        "name": "stu",
        "mysql_version_id": 80025,
        "created": 20220919023413,
        "last_altered": 20220919023413,
        "hidden": 1,
        "options": "avg_row_length=0;encrypt_type=N;explicit_encryption=0;key_block_size=0;keys_disabled=0;pack_record=1;stats_auto_recalc=0;stats_sample_pages=0;",
        "columns": [
            {
                "name": "id",
                "type": 4,
                "is_nullable": false,
                "is_zerofill": false,
                "is_unsigned": false,
                "is_auto_increment": false,
                "is_virtual": false,
                "hidden": 1,
···省略
            },
            {
                "name": "name",
                "type": 16,
                "is_nullable": false,
                "is_zerofill": false,
                "is_unsigned": false,
                "is_auto_increment": false,
                "is_virtual": false,
                "hidden": 1,
···省略
            },
            {
                "name": "DB_TRX_ID", #最近修改事务ID
                "type": 10,
                "is_nullable": false,
                "is_zerofill": false,
                "is_unsigned": false,
                "is_auto_increment": false,
                "is_virtual": false,
                "hidden": 2,
···省略
            },
            {
                "name": "DB_ROLL_PTR", #回滚指针
                "type": 9,
                "is_nullable": false,
                "is_zerofill": false,
                "is_unsigned": false,
                "is_auto_increment": false,
                "is_virtual": false,
                "hidden": 2,
···省略
            }
        ],

注意：因为这张表里已经指定了主键为id列，所以不会生成隐藏主键DB_ROW_ID列。

Undo Log回滚日志

回滚日志，在增、改、删操作的时候产生的便于数据回滚的日志。当INSERT操作的时候，产生的回滚日志在事务提交后可被立即删除。而UPDATE和DELETE操作的时候，产生的Undo Log日志不仅在进行数据回滚时需要，在进行快照读时也需要，所以不会立即被删除。

Undo Log详情可见文章：待浩源Undo Log文章发表后添加

MVCC版本链

当有多个并发事务操作一行数据时，对这行数据的修改会产生多个版本，多个版本通过上述的一个隐藏字段DB_ROLL_PTR回滚指针指向Undo Log数据地址形成一个链表，即MVCC版本链。

ReadView读视图

ReadView读视图是快照读SQL执行时MVCC提取数据的依据，记录并维护系统当前活跃的事务（未提交的）id。

上面讲过Undo Log和MVCC版本链，一条数据经过多次修改会产生多个版本，而快照读是根据不同时机创建的快照获取数据的，那么快照读SQL在执行时该读取那个版本的数据就是靠ReadViw读视图来决定的。

ReadView读视图中包含了四个核心字段，也是读取数据的判断依据： | 字段 | 含义 | | -------------- | ---------------------------------------------------- | | m_ids | 当前活跃的事务ID集合 | | min_trx_id | 最小活跃事务ID | | max_trx_id | 预分配事务ID，当前最大事务ID+1（因为事务ID是自增的） | | creator_trx_id | ReadView创建者的事务ID |

ReadView一共有四种匹配规则： | 条件 | 能否访问 | 说明 | | ---------------------------------- | ----------------------------------------- | -------------------------------------------- | | trx_id == creatro_trx_id | 可以访问该版本 | 成立，说明数据是当前这个事务更改的。 | | trx_id < min_trx_id | 可以访问该版本 | 成立，说明数据已经提交了。 | | trx_id > max_trx_id | 不可以访问该版本 | 成立，说明该事务是在ReadView生成后才开启的。 | | min_trx_id <= trx_id <= max_trx_id | 如果trx_id不在m_ids中，那么可以访问该版本 | 成立，说明数据已经提交。 |

不同隔离级别下MVCC分析

READ-COMMITTED隔离级别

前面有提到过在READ-COMMITTED隔离级别下事务在每次快照读SQL执行时创建ReadView，每次创建的ReadView的四个字段对应的值也是不同的，所以在READ-COMMITTED隔离级别下每次快照读SQL获取的数据可能也是不同的。

下面通过一个READ-COMMITTED隔离级别下并发事务的案例来详细看看：

现有四个并发事务同时访问一条数据：

在上述并发事务中，事务5查询了两次id为1的数据，因为当前的隔离级别设置为了READ-COMMITTED，事务在每次快照读SQL执行时创建一个ReadView，每次生成的ReadView中的四个字段值都不同。那么三次快照读都会根据生成的ReadView中的字段进行规则匹配，从而决定返回的数据。接下来看看流程：

事务5第一次快照读解读

事务5第一次进行查询时生成的ReadView以及原数据如下图：

在匹配版本数据前，先与表中数据进行匹配：

该数据对应的DB_TRX_ID为3，此时MVCC就会通过ReadView带着这条数据去进行规则匹配：

首先是第一条规则db_trx_id == creator_trx_id，db_trx_id(3)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id < min_trx_id，db_trx_id(3)不小于min_trx_id(3)故不成立；

第三条规则db_trx_id > max_trx_id，db_trx_id(3)小于max_trx_id(6)故不成立；

第四条规则min_trx_id <= db_trx_id <= max_trx_id，db_trx_id(3)在min_trx(3)与max_trx_id(6)之间，但是同时处于m_ids(3,4,5)集合之中故也不成立。

经过这次匹配，表中最新的数据无法匹配，故要与MVCC版本链中最上面的数据进行规则匹配

与MVCC版本链中最上方的版本进行匹配：

第一条规则db_trx_id(2)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id(2)小于min_trx_id(3)，该版本的数据满足匹配规则中的第二条，说明数据已经提交，此时匹配将终止并返回这个版本对应的数据。

事务5第二次快照读

因为当前事务的隔离级别为READ-COMMITTED(读已提交)，所以在每次快照读的时候都会创建一个ReadView，所以事务5第二次进行查询时生成的ReadView以及原数据如下图：

在匹配版本数据前，先与表中数据进行匹配：

该数据对应的DB_TRX_ID为4，此时MVCC就会通过ReadView带着这条数据去进行规则匹配：

首先是第一条规则db_trx_id == creator_trx_id，db_trx_id(4)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id < min_trx_id，db_trx_id(4)不小于min_trx_id(4)故不成立；

第三条规则db_trx_id > max_trx_id，db_trx_id(4)小于max_trx_id(6)故不成立；

第四条规则min_trx_id <= db_trx_id <= max_trx_id，db_trx_id(4)在min_trx(4)与max_trx_id(6)之间，但是同时处于m_ids(4,5)集合之中故也不成立。

经过这次匹配，表中最新的数据无法匹配，故要与MVCC版本链中最上面的数据进行规则匹配

与MVCC版本链中最上方的版本进行匹配：

第一条规则db_trx_id(3)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id(3)小于min_trx_id(4)，该版本的数据满足匹配规则中的第二条，说明数据已经提交，此时匹配将终止并返回这个版本对应的数据。

REPEATABLE-READ级别

现在来看看REPEATABLE-READ可重复读隔离级别有什么不同的地方。同样，有四个并发事务同时访问一条数据：

在上述并发事务中，事务5查询了两次id为1的数据，因为当前的隔离级别设置为了REPEATABLE-READ，事务在第一次快照读SQL执行时创建ReadView，后续该事务所有的快照读都复用该ReadView。接下来看看流程：

事务5第一次快照读解读

事务5第一次进行查询时生成的ReadView以及原数据如下图：

在匹配版本数据前，先与表中数据进行匹配：

该数据对应的DB_TRX_ID为3，此时MVCC就会通过ReadView带着这条数据去进行规则匹配：

首先是第一条规则db_trx_id == creator_trx_id，db_trx_id(3)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id < min_trx_id，db_trx_id(3)不小于min_trx_id(3)故不成立；

第三条规则db_trx_id > max_trx_id，db_trx_id(3)小于max_trx_id(6)故不成立；

第四条规则min_trx_id <= db_trx_id <= max_trx_id，db_trx_id(3)在min_trx(3)与max_trx_id(6)之间，但是同时处于m_ids(3,4,5)集合之中故也不成立。

经过这次匹配，表中最新的数据无法匹配，故要与MVCC版本链中最上面的数据进行规则匹配

与MVCC版本链中最上方的版本进行匹配：

第一条规则db_trx_id(2)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id(2)小于min_trx_id(3)，该版本的数据满足匹配规则中的第二条，说明数据已经提交，此时匹配将终止并返回这个版本对应的数据。

事务5第二次快照读解读

因为当前事务的隔离级别为REPEATABLE-READ(可重复读)，所以第二次快照读也会沿用第一次快照读时创建的ReadView，如下：

在匹配版本数据前，先与表中数据进行匹配：

该数据对应的DB_TRX_ID为4，此时MVCC就会通过ReadView带着这条数据去进行规则匹配：

首先是第一条规则db_trx_id == creator_trx_id，db_trx_id(4)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id < min_trx_id，db_trx_id(4)不小于min_trx_id(3)故不成立；

第三条规则db_trx_id > max_trx_id，db_trx_id(4)小于max_trx_id(6)故不成立；

第四条规则min_trx_id <= db_trx_id <= max_trx_id，db_trx_id(4)在min_trx(4)与max_trx_id(6)之间，但是同时处于m_ids(4,5)集合之中故也不成立。

经过这次匹配，表中最新的数据无法匹配，故要与MVCC版本链中最上面的数据进行规则匹配

与MVCC版本链中最上方的版本进行匹配：

第一条规则db_trx_id(3)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id(3)不小于min_trx_id(4)故不成立；

第三条规则db_trx_id小于max_trx_id(6)故不成立；

第四条规则db_trx_id(3)在min_trx(3)与max_trx_id(6)之间，但是同时处于m_ids(3,4,5)集合之中故也不成立。

经过第二次匹配，MVCC版本链中最上层的数据版本也无法匹配，故要与第二条版本进行匹配

与MVCC版本链中第二条版本进行匹配：

第一条规则db_trx_id(2)不等于creator_trx_id(5)故不成立；

第二条规则db_trx_id(2)小于min_trx_id(3)，该版本的数据满足匹配规则中的第二条，说明数据已经提交，此时匹配将终止并返回这个版本对应的数据。

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，是适用于金融级应用的MySQL分支版本。

相关链接： GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区：

欢迎来GreatSQL社区发帖提问 https://greatsql.cn/

技术交流群：

微信：扫码添加GreatSQL社区助手微信好友，发送验证信息加群。

微信关注我们

原文链接：https://my.oschina.net/GreatSQL/blog/5586164

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一次 Redis 事务使用不当引发的生产事故

这是悟空的第 170 篇原创文章官网：www.passjava.cn 你好，我是悟空。本文主要内容如下：一、前言最近项目的生产环境遇到一个奇怪的问题：现象：每天早上客服人员在后台创建客服事件时，都会创建失败。当我们重启这个微服务后，后台就可以正常创建了客服事件了。到第二天早上又会创建失败，又得重启这个微服务才行。初步排查：创建一个客服事件时，会用到 Redis 的递增操作来生成一个唯一的分布式 ID 作为事件 id。代码如下所示： return redisTemplate.opsForValue().increment("count", 1); 而恰巧每天早上这个递增操作都会返回 null，进而导致后面的一系列逻辑出错，保存客服事件失败。当重启微服务后，这个递增操作又正常了。那么排查的方向就是 Redis 的操作为什么会返回 null 了，以及为什么重启就又恢复正常了。二、排查根据上面的信息，我们先来看看 Redis 的自增操作在什么情况下会返回 null。 2.1 推测一根据重启后就恢复正常，我们推测晚上执行了大量的 job，大量 Redis 连接未释放，当早上再...

2022-10-25

366

作者：刘研，SUSE UI 工程师介绍 Rancher Dashboard UI，又名 Cluster Explorer，是使用 Vue.js 和 NuxtJS 构建的 Rancher API 的 ”无状态” 客户端。它通常被构建和打包为静态 HTML/CSS/JS 文件，这些文件捆绑到 Rancher 发行版中。登录用户可以管理所有被授权访问的 k8s 集群资源，并可以对大部分类型资源以表单的方式进行编辑，而不是编辑 YAML。概述 Rancher Dashboard UI 团队非常重视前端用户的使用体验，每次发版都会让 Rancher Dashboard UI 的性能进一步优化，让 Rancher Dashboard UI 操作更加流畅，资源显示更加快速，资源占用进一步减少。随着集群规模不断变大，资源数量越来越多，部分用户开始发现 Rancher Dashboard UI 页面显示速度变得缓慢，长时间停留在 loading 页面，针对这个问题 Rancher Dashboard UI 从 v2.6.7 版本开始将这部分优化设置暴露出来，给用户更多的自主权。本文将介绍两种...

2022-10-25

391

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。