MySQL下200GB大表备份,利用传输表空间解决停服发版表备份问题
MySQL下200GB大表备份,利用传输表空间解决停服发版表备份问题
问题背景
在停服发版更新时,需对 200GB 大表(约 200 亿行数据)进行快速备份以预防操作失误。
因为曾经出现过有开发写的发版语句里,UPDATE
语句的WHERE
条件写错了,原本只需要更新几行数据,最终导致更新了半张表的数据。
MySQL版本是MySQL 8.0.X,为了预防这种情况,需要对某个重要的大表进行预先备份,以便可以及时回滚,及时恢复,及时回退,对于备份方法大概有下面几种:
| 方案 | 优点 | 缺点 | | ----------------------- | ------------------------ | ---------------------------------- | | mysqldump
导出 | 简单易用 | 大表导出耗时(200GB 可能需数小时) | | CREATE TABLE...SELECT
| 直接 SQL 操作 | 数据复制慢,锁表风险高 | | 表空间 传输 | 秒级备份,零数据复制 | 需操作系统权限,依赖文件拷贝 | | 主从复制/延迟复制 | 无需停服,恢复灵活 | 需主从架构,维护成本高 |
这个场景的核心需求:停服更新的时间非常有限,比如1个小时之内要完成更新。
操作流程
前面两种都比较简单,通过导数据的方法来备份旧表,万一出现问题,可以使用导出来的数据进行快速恢复,第三种方法估计比较少人用,下面是具体操作方法
- 源表与备胎表结构
-- 源表(aa) CREATE TABLE aa ( id int(11) DEFAULT NULL, sname VARCHAR(100) ) ENGINE=InnoDB; -- 备胎表(bb) CREATE TABLE bb ( id int(11) DEFAULT NULL, sname VARCHAR(100) ) ENGINE=InnoDB; greatsql> INSERT INTO aa SELECT 1,"nihao";
2、备胎表卸载表空间:
greatsql> ALTER TABLE bb DISCARD TABLESPACE; -- 加锁并生成配置文件
3、源表执行表空间导出:
greatsql> USE school; greatsql> FLUSH TABLES aa FOR EXPORT;
4、拷贝表空间文件(ibd和cfg文件),然后重新赋予权限,确保导入表空间时候不会出现问题
$ cd /data/mysql/mysql3306/data/school $ cp aa.ibd bb.ibd $ cp aa.cfg bb.cfg $ chown -R mysql:mysql /data/mysql/mysql3306/data/*
5、在相同数据库下,备胎表和源表都导入表空间
greatsql> USE school; greatsql> UNLOCK TABLES; greatsql> ALTER TABLE bb IMPORT TABLESPACE; greatsql> ALTER TABLE aa IMPORT TABLESPACE;
6、查询表数据,验证数据一致性
greatsql> USE school; greatsql> SELECT * FROM bb; greatsql> SELECT * FROM aa;
查询表数据正常,没有任何问题
greatsql> SELECT * FROM aa; +------+-------+ | id | sname | +------+-------+ | 1 | nihao | +------+-------+ 1 row in set (0.01 sec) greatsql> SELECT * FROM bb; +------+-------+ | id | sname | +------+-------+ | 1 | nihao | +------+-------+ 1 row in set (0.00 sec)
查看表的数据文件,没什么问题
$ ll total 228 -rw-r----- 1 mysql mysql 114688 Mar 4 16:51 aa.ibd -rw-r----- 1 mysql mysql 781 Mar 4 16:52 bb.cfg -rw-r----- 1 mysql mysql 114688 Mar 4 16:52 bb.ibd
7、发版更新与回滚
-- 发版操作(示例) greatsql> UPDATE aa SET sname = 'new_value' WHERE id > 1;
8、如果发版有问题,直接交换表名,最快速度恢复整个表的数据
-- 回滚操作(交换表名) greatsql> ALTER TABLE aa RENAME TO aa_temp; greatsql> ALTER TABLE bb RENAME TO aa;
总结
整个操作最重要的是第4步 ,操作系统级别的拷贝就完成了整个表的备份,相比于数据倒来倒去在速度上要快不少。另外,第5步的备胎表也可以不用导入,只有当发现发版出现问题时候,再导入也可以。
这种方法的关键优势如下
- 直接拷贝 .ibd 文件,无需逐行复制数据。
- 零锁表时间:
FLUSH TABLES tablename FOR EXPORT
仅短暂加锁(秒级)。 - 快速恢复:通过表名交换实现秒级回滚。
特别适合于这几种场景:无主从架构的单实例环境、大表快速备份、停服时间敏感。
当然,如果有主从架构的话,则更加推荐使用第四种方法,在操作上也更加可控,短时间也能保证能够完成。
Enjoy GreatSQL :)
关于 GreatSQL
GreatSQL是适用于金融级应用的国内自主开源数据库,具备高性能、高可靠、高易用性、高安全等多个核心特性,可以作为MySQL或Percona Server的可选替换,用于线上生产环境,且完全免费并兼容MySQL或Percona Server。
相关链接: GreatSQL社区 Gitee GitHub Bilibili
GreatSQL社区:
社区有奖建议反馈: https://greatsql.cn/thread-54-1-1.html
社区博客有奖征稿详情: https://greatsql.cn/thread-100-1-1.html
(对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~)
技术交流群:
微信&QQ群:
QQ群:533341697
微信群:添加GreatSQL社区助手(微信号:wanlidbc
)好友,待社区助手拉您进群。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
理解 Calvin 的架构设计与工作原理
作者:张炎泼(XP) Databend 分布式研发负责人 本文目的: 旨在提供一个直观的视角,帮助读者更好地理解 Calvin 的架构设计与工作原理。 Calvin 设计目标与核心机制简介 Calvin 是一个针对分区式数据库系统设计的分布式 transaction 调度与复制层,其目标是在保证线性可扩展性和高可用性的同时提供完整的 ACID transaction 。为了解决传统分布式 transaction 高开销、低性能的问题,Calvin 引入了确定性 transaction 调度的理念:在 transaction 执行前,先确定并记录 transaction 的全局顺序,这样各节点就可以按统一顺序执行 transaction ,从而避免了在执行过程中再进行跨节点协调。这一机制的核心优势是消除分布式原子提交协议(如两阶段提交 2PC)的需要。 Calvin 整体架构与组件关系图 图中展示了 Calvin 的整体架构。架构中,数据库被水平划分为多个分区,每个分区都有自己的 Sequencer、Scheduler 和 Storage 等组件。为了保证高可用性,每个分区被复制到多个副...
- 下一篇
NebulaGraph 在 Airwallex 跨境金融风控的应用
关于作者:郝鑫,Airwallex 空中云汇风控平台工程师,nebula-go Maintainer.自 2023 年底起,重点做图计算相关工作,业务场景侧重于风控。 本文首发于「NebulaGraph 技术社区」公众号,了解更多 NebulaGraph 产品信息,请访问官网 一、Airwallex 空中云汇 作为知名的全球支付及金融平台,Airwallex 空中云汇致力于为企业提供一站式跨境支付解决方案。 我们从实际业务场景入手,来让大家更了解 Airwallex 空中云汇。大家平时在购物、玩游戏、订阅视频网站平台,或者使用一些付费软件时,都会有不同产品下的跨境支付场景,包括刷卡支付或者定时订阅支付。这些支付服务的提供方包括游戏公司、电商平台,或者其他平台上的商户。 而 Airwallex 空中云汇,其实就站在这些企业的背后,为这些企业提供收单、收款以及资金管理相关的服务。 在跨境场景下,我们面临的客户形式和背景会非常多样化。 一方面其中有一些客户是游戏公司,面向不同国家的用户提供一个提供游戏内购款相关的产品;还有一些是电商平台,包括自营平台和类似于淘宝这种为不同商户提供服务的平台。...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 2048小游戏-低调大师作品
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2全家桶,快速入门学习开发网站教程