工具分享丨数据闪回工具MyFlash

2024-10-25 234

工具分享丨数据闪回工具MyFlash

在当今数字化的时代，数据已经成为了企业和个人最宝贵的资产之一。数据不仅仅是简单的信息集合，它更是决策的依据、业务的支撑以及创新的源泉。

数据丢失是一种极其危险且令人头疼的情况。想象一下，企业因系统故障、人为误操作或遭受恶意攻击而丢失了关键的业务数据，这可能导致业务中断、客户流失，甚至面临法律风险和声誉损害。

在这样的背景下，有效的数据管理和保护工具就显得尤为重要。在之前的社区文章中，有介绍过一款闪回工具binlog2sql但今天介绍的闪回工具相对已有的回滚工具，其增加了更多的过滤选项，性能优于 binlog2sql、mysqlbinlog

binlog2sql工具：技术分享 | 测试git上2500星的闪回小工具

除使用工具还可以手动恢复数据，详见推文：

误删GreatSQL数据？别慌，Binlog来帮忙

MyFlash 工具介绍

MyFlash 是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析 v4 版本的 binlog，完成回滚操作。相对已有的回滚工具，其增加了更多的过滤选项，让回滚更加容易。

可以针对实例、数据库、表及指定的DML语句进行回滚
如果binlog日志保留，可以闪回到任意时间

该工具开源地址为：https://github.com/Meituan-Dianping/MyFlash

限制

binlog格式必须为row，且binlog_row_image=full
仅支持 MySQL5.6 与 MySQL5.7
只能回滚DML（增、删、改）

介绍说只支持 5.6 与 5.7 版本，但在 GreatSQL 8.0.32-26 版本测试中也可用

安装方法

拉取工具仓库，并编译安装

$ git clone https://github.com/Meituan-Dianping/MyFlash.git

动态编译链接

$ gcc -w  `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c  -o binary/flashback

若不想每次去重新编译，可以选择使用静态链接，但是该方法需要知道glib库的版本和位置，因此对于每台机器略有不同，请谨慎使用

静态编译链接

$ gcc -w -g `pkg-config --cflags  glib-2.0` source/binlogParseGlib.c   -o binary/flashback /usr/lib64/libglib-2.0.a -lrt

编译完成后，在binary目录下有可执行文件flashback

参数介绍

$ ./binary/flashback -help
Usage:
  flashback [OPTION?]

Help Options:
  -h, --help                  Show help options

Application Options:
  --databaseNames             databaseName to apply. if multiple, seperate by comma(,)
  --tableNames                tableName to apply. if multiple, seperate by comma(,)
  --tableNames-file           tableName to apply. if multiple, seperate by comma(,)
  --start-position            start position
  --stop-position             stop position
  --start-datetime            start time (format %Y-%m-%d %H:%M:%S)
  --stop-datetime             stop time (format %Y-%m-%d %H:%M:%S)
  --sqlTypes                  sql type to filter . support INSERT, UPDATE ,DELETE. if multiple, seperate by comma(,)
  --maxSplitSize              max file size after split, the uint is M
  --binlogFileNames           binlog files to process. if multiple, seperate by comma(,)  
  --outBinlogFileNameBase     output binlog file name base
  --logLevel                  log level, available option is debug,warning,error
  --include-gtids             gtids to process. if multiple, seperate by comma(,)
  --include-gtids-file        gtids to process. if multiple, seperate by comma(,)
  --exclude-gtids             gtids to skip. if multiple, seperate by comma(,)
  --exclude-gtids-file        gtids to skip. if multiple, seperate by comma(,)

databaseNames：指定需要回滚的数据库名。多个数据库可以用","隔开。如果不指定该参数，相当于指定了所有数据库。
tableNames：指定需要回滚的表名。多个表可以用","隔开。如果不指定该参数，相当于指定了所有表。
start-position：指定回滚开始的位置。如不指定，从文件的开始处回滚。请指定正确的有效的位置，否则无法回滚。
stop-position：指定回滚结束的位置。如不指定，回滚到文件结尾。请指定正确的有效的位置，否则无法回滚。
start-datetime：指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。如不指定，则不限定时间。
stop-datetime：指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。如不指定，则不限定时间。
sqlTypes：指定需回滚的SQL类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用","隔开。
maxSplitSize：一旦指定该参数，对文件进行固定尺寸的分割（单位为M），过滤条件有效，但不进行回滚操作。该参数主要用来将大的binlog文件切割，防止单次应用的binlog尺寸过大，对线上造成压力。
binlogFileNames：指定需要回滚的binlog文件，目前只支持单个文件，后续会增加多个文件支持。经测试已支持多个binlog文件。
outBinlogFileNameBase：指定输出的binlog文件前缀，如不指定，则默认为binlog_output_base.flashback。
logLevel：仅供开发者使用，默认级别为error级别。在生产环境中不要修改这个级别，否则输出过多。
include-gtids：指定需要回滚的gtid,支持gtid的单个和范围两种形式。
exclude-gtids：指定不需要回滚的gtid，用法同include-gtids。

最佳实践

此次测试环境情况如下：

数据库：GreatSQL 8.0.32-26
操作系统：Linux debian 6.1.0-22-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.94-1 (2024-06-21) x86_64 GNU/Linux

创建一个test库和students表，并插入 5 条数据

greatsql> CREATE TABLE students (
    id INT AUTO_INCREMENT PRIMARY KEY,
    first_name VARCHAR(50),
    last_name VARCHAR(50),
    age INT,
    grade VARCHAR(10),
    city VARCHAR(50)
);

greatsql> INSERT INTO students (first_name, last_name, age, grade, city) VALUES
('Alice', 'Smith', 18, 'Grade 12', 'New York'),
('Bob', 'Johnson', 17, 'Grade 11', 'Los Angeles'),
('Charlie', 'Williams', 16, 'Grade 10', 'Chicago'),
('David', 'Brown', 15, 'Grade 9', 'Houston'),
('Eve', 'Davis', 17, 'Grade 11', 'Miami');

模拟误操作将 age 列全部修改为0

greatsql> UPDATE students SET age = 0;
greatsql> SELECT * FROM students;
+----+------------+-----------+------+----------+-------------+
| id | first_name | last_name | age  | grade    | city        |
+----+------------+-----------+------+----------+-------------+
|  1 | Alice      | Smith     |    0 | Grade 12 | New York    |
|  2 | Bob        | Johnson   |    0 | Grade 11 | Los Angeles |
|  3 | Charlie    | Williams  |    0 | Grade 10 | Chicago     |
|  4 | David      | Brown     |    0 | Grade 9  | Houston     |
|  5 | Eve        | Davis     |    0 | Grade 11 | Miami       |
+----+------------+-----------+------+----------+-------------+
5 rows in set (0.00 sec)

记录误操作时间，并使用FLUSH LOGS换一个 Binary Log 记录，查看 Binary Log 文件名

greatsql> SELECT current_timestamp();
+---------------------+
| current_timestamp() |
+---------------------+
| 2024-08-08 14:41:05 |
+---------------------+

greatsql> FLUSH LOGS;
Query OK, 0 rows affected (0.06 sec)

greatsql> SHOW BINARY LOGS;
+---------------+-----------+-----------+
| Log_name      | File_size | Encrypted |
+---------------+-----------+-----------+
| binlog.000006 |      2146 | No        |
| binlog.000007 |       197 | No        |
+---------------+-----------+-----------+

要用闪回需要注意闪回的时间点，例如这次的需求是，闪回到 INSERT INTO 5条语句后

$ mysqlbinlog --no-defaults -v binlog.000006
# 发生误操作的时间`14:33:56`及开始位置`1359`和结束位置`2102`

MyFlash 解析闪回文件

$ ./flashback --databaseNames=test --tableNames=students --start-position='1359' --stop-position='2102' --binlogFileNames=/data/greatsql/binlog.000006 --outBinlogFileNameBase=students

如果确定误操作类型也可以加上--sqlTypes=UPDATE/INSERT/DELETE(多类型用','隔开)

生成文件 students.flashback 并查看

$ mysqlbinlog --no-defaults --base64-output=decode-rows -v students.flashback 
# 可以看到文件中将 UPDATE 语句进行回滚
# ... 节选 ...
### UPDATE `test`.`students`
### WHERE
###   @1=1
###   @2='Alice'
###   @3='Smith'
###   @4=0
###   @5='Grade 12'
###   @6='New York'
### SET
###   @1=1
###   @2='Alice'
###   @3='Smith'
###   @4=18
###   @5='Grade 12'
###   @6='New York'

执行闪回恢复

$ mysqlbinlog --no-defaults --skip-gtids students.flashback |mysql -uroot -p

再次查看数据，已经恢复

greatsql> SELECT * FROM students;
+----+------------+-----------+------+----------+-------------+
| id | first_name | last_name | age  | grade    | city        |
+----+------------+-----------+------+----------+-------------+
|  1 | Alice      | Smith     |   18 | Grade 12 | New York    |
|  2 | Bob        | Johnson   |   17 | Grade 11 | Los Angeles |
|  3 | Charlie    | Williams  |   16 | Grade 10 | Chicago     |
|  4 | David      | Brown     |   15 | Grade 9  | Houston     |
|  5 | Eve        | Davis     |   17 | Grade 11 | Miami       |
+----+------------+-----------+------+----------+-------------+
5 rows in set (0.00 sec)

回滚该文件中指定语句

回滚该文件中所有 INSTER 语句，UPDATE/DELETE语句也同理

$ ./flashback  --sqlTypes='INSERT' --binlogFileNames=binlog.000006
mysqlbinlog students.flashback | mysql -h<host> -u<user> -p

回滚大文件

该工具中有maxSplitSize参数，可用于切割大文件

# 回滚
$ ./flashback --binlogFileNames=binlog.000006
# 切割大文件
$ ./flashback --maxSplitSize=1 --binlogFileNames=students.flashback
# 应用
$ mysqlbinlog students.flashback.000001 | mysql -h<host> -u<user> -p
...
$ mysqlbinlog students.flashback.<N> | mysql -h<host> -u<user> -p

性能测试

和社区上次推荐的 binlog2sql 测试下性能，看哪个恢复速度快

创建 orders 表

CREATE TABLE `orders` (
  `order_id` int NOT NULL AUTO_INCREMENT,
  `customer_id` int NOT NULL,
  `product_id` int NOT NULL,
  `order_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `order_status` char(10) NOT NULL DEFAULT 'pending',
  `quantity` int NOT NULL,
  `order_amount` decimal(10,2) NOT NULL,
  `shipping_address` varchar(255) NOT NULL,
  `billing_address` varchar(255) NOT NULL,
  `order_notes` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`order_id`),
  KEY `idx_customer_id` (`customer_id`),
  KEY `idx_product_id` (`product_id`),
  KEY `idx_order_date` (`order_date`),
  KEY `idx_order_status` (`order_status`)
) ENGINE=InnoDB AUTO_INCREMENT=100001 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

创建 Shell 脚本，并插入 110504 条数据

#!/bin/bash
# 插入的订单数量
num_orders=110504  # 你可以根据需要更改插入的数量
# 循环插入数据
for ((i=1; i<=$num_orders; i++))
do
    customer_id=$((RANDOM % 1000 + 1))        # 随机生成1到1000的顾客ID
    product_id=$((RANDOM % 100 + 1))          # 随机生成1到100的产品ID
    order_date=$(date +"%Y-%m-%d %H:%M:%S")    # 当前时间作为订单日期
    order_status="pending"                    # 默认订单状态为pending
    quantity=$((RANDOM % 5 + 1))              # 随机生成1到5的数量
    order_amount=$(echo "scale=2; $((RANDOM % 500 + 50)) + $((RANDOM % 99)) / 100.0" | bc)  # 随机生成50到550之间的订单金额，保留两位小数
    shipping_address="Address $i, City $((RANDOM % 10 + 1)), Country"  # 构造随机的配送地址
    billing_address="Billing Address $i, City $((RANDOM % 10 + 1)), Country"  # 构造随机的账单地址
    order_notes="Order notes for order $i"    # 每个订单有不同的订单备注
    # 构造SQL插入语句
    insert_query="INSERT INTO orders (customer_id, product_id, order_date, order_status, quantity, order_amount, shipping_address, billing_address, order_notes) VALUES ($customer_id, $product_id, '$order_date', '$order_status', $quantity, $order_amount, '$shipping_address', '$billing_address', '$order_notes');"

    # 执行插入语句
    mysql -uroot -p test -e "$insert_query"
done
echo "$num_orders 条订单数据插入完成。"

退出后执行脚本，并查看数据量

# 执行脚本
$ bash insert_students.sh

greatsql> SELECT COUNT(*) FROM orders;  
+----------+
| count(*) |
+----------+
|   110504 |
+----------+
1 row in set (0.01 sec)

MyFlash 测试

模拟误操作删除数据

# 误操作删除数据
greatsql> DELETE FROM orders WHERE 1=1;
Query OK, 110504 rows affected (1.59 sec)

# 记录误操作时间
greatsql> SELECT current_timestamp();
+---------------------+
| current_timestamp() |
+---------------------+
| 2024-08-08 17:51:10 |
+---------------------+
1 row in set (0.00 sec)

# 启用新 binlog 日志
greatsql> FLUSH LOGS;
Query OK, 0 rows affected (0.06 sec)

# 查看旧 binlog 日志
greatsql> SHOW BINARY LOGS;
+---------------+-----------+-----------+
| Log_name      | File_size | Encrypted |
+---------------+-----------+-----------+
| binlog.000008 | 101319050 | No        |
| binlog.000009 |       197 | No        |
+---------------+-----------+-----------+
2 rows in set (0.01 sec)

查看 Binary Log 日志，找到误操作位置

$ mysqlbinlog --no-defaults -v binlog.000008
# 开始位置 86092119 时间 17:50:52  结束 101319006

使用 MyFlash 生成恢复的 Binary Log

$ time ./flashback --databaseNames=test --tableNames=orders --start-position='86092119' --stop-position='101319006' --binlogFileNames=/data/greatsql/binlog.000008 --outBinlogFileNameBase=orders

real    0m0.138s
user    0m0.029s
sys     0m0.065s

查看生成的文件，并使用 mysqlbinlog 回滚恢复

$ ls -l
-rwxr-xr-x 1 root root   957744 Aug  5 11:26 flashback
-rw-r--r-- 1 root root 15430854 Aug  9 10:52 orders.flashback

闪回恢复
$ mysqlbinlog --no-defaults --skip-gtids orders.flashback |mysql -uroot -p

real    0m9.414s
user    0m0.433s
sys     0m0.082s

查看数据恢复情况

greatsql> SELECT COUNT(*) FROM orders;  
+----------+
| count(*) |
+----------+
|   110504 |
+----------+
1 row in set (0.01 sec)

用切割的方式导入

# 每个文件设定大小为 1M (可按需求自定义)
$ ./flashback --maxSplitSize=1 --binlogFileNames=orders.flashback
# 此时就会多出很多 binlog_output_base 文件
-rw-r--r-- 1 root root 1.1M Aug  9 13:55 binlog_output_base.000001
... 省略 ...
-rw-r--r-- 1 root root 640K Aug  9 13:55 binlog_output_base.000015

切割后的文件名无法修改，只能叫 binlog_output_base

如果切割的文件多了，需要写个小脚本导入这些切割后的文件

$ vim batch_rollback.sh

# 循环导入每个文件
for i in $(seq -w 1 15); do
    FILENAME="binlog_output_base.0000$i"
    mysqlbinlog --no-defaults --skip-gtids $FILENAME | mysql -uroot -p
done

运行 batch_rollback.sh导入

$ time batch_rollback.sh
  real    0m9.071s
  user    0m0.454s
  sys     0m0.200s
  
greatsql> SELECT COUNT(*) FROM orders;  
+----------+
| count(*) |
+----------+
|   110504 |
+----------+
1 row in set (0.02 sec)

根据 MyFlash 官方的测试结果和 mysqlbinlog、binlog2sql 两款工具对比，恢复100万条数据

MyFlash 耗时 2.774s
mysqlbinlog 耗时 6.217s
binlog2sql 耗时 581.319s

总结

MyFlash 使用较方便，回滚耗时短，大数据量恢复可以使用该工具
binlog2sql 需要 Python 环境，可能会造成字符问题，MyFlash 比较稳定

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是适用于金融级应用的国内自主开源数据库，具备高性能、高可靠、高易用性、高安全等多个核心特性，可以作为MySQL或Percona Server的可选替换，用于线上生产环境，且完全免费并兼容MySQL或Percona Server。

相关链接： GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区：

社区有奖建议反馈： https://greatsql.cn/thread-54-1-1.html

社区博客有奖征稿详情： https://greatsql.cn/thread-100-1-1.html

（对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~）

技术交流群：

微信&QQ群：

QQ群：533341697

微信群：添加GreatSQL社区助手（微信号：wanlidbc ）好友，待社区助手拉您进群。

微信关注我们

原文链接：https://my.oschina.net/GreatSQL/blog/16491431

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据集成的未来：一文搞懂 EtLT 新技术的崛起

前瞻性技术通常具有创新性，并受到早期采用者的欢迎，从而提供一定的商业价值。说到数据集成，有人可能会质疑这有什么好讨论的------这不就是简单的 ETL 吗？从各种数据库中提取数据，进行转换，最后加载到不同的数据仓库中。随着大数据、数据湖、实时数仓、大规模模型等的兴起，数据集成架构从数据仓库时代的ETL，发展到大数据时代的ELT，再到目前的EtLT阶段。无论你是大数据工程师还是数据领域的专业人士，基于数据集成领域的近期技术变化和未来趋势都至关重要。 ETL 架构大多数数据领域的专家都熟悉 ETL 一词。在数据仓库的鼎盛时期，IBM DataStage、Informatica、Talend 和 Kettle 等 ETL 工具被广泛使用。许多公司仍然依赖这些工具从各种数据库中提取数据、进行转换并将其加载到不同的数据仓库中进行报告和分析。 ETL 架构的优点和缺点如下: ETL架构的优点确保数据的一致性和质量整合复杂数据源提供清晰的技术架构促进业务规则的实施 ETL 架构的缺点没有实时处理硬件成本高灵活性有限维护费用昂贵对非结构化数据处理不当 ELT 架构在大数...

2024-10-25

241

栏目介绍："OurBMC 大咖说" 是由 OurBMC 社区精心策划的线上讲座栏目，邀请 BMC 相关领域大咖共同探讨 BMC 全栈技术的发展趋势、挑战和机遇。无论你是初学者还是资深从业者，"OurBMC 大咖说" 都将为你提供一个宝贵的学习和交流的平台。欢迎各位关注 "OurBMC 大咖说"，聆听大咖们的智慧之声，共同推动 BMC 全栈技术的进步和发展！本期人物介绍：林玉兵，浪潮计算机科技有限公司开源BMC团队负责人，从事BMC固件开发5年，主要负责浪潮计算机开源BMC codebase开发及相关项目落地，先后主导了多个平台项目的开发适配工作。 BMC，全称为基板管理控制器（Baseboard Management Controller），是服务器管理体系中的核心组件，在服务器监控和管理上扮演着至关重要的角色。BMC 系统主要由两部分组成：BMC 芯片和 BMC 固件。BMC 芯片提供计算能力，支持 BMC 固件的运行，而 BMC 固件则是实现各种带外管理功能的核心控制程序。最早接触 BMC 固件是从 AMI BMC 的解决方案开始，基于 AMI BMC 的解决方案经历了多模块...

2024-10-25

240

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。