首页 文章 精选 留言 我的

精选列表

搜索[boot],共8314篇文章
优秀的个人博客,低调大师

《Spring Boot Flyway 实战手册》第5招 生产故障处理——搞定 checksum、repair、baseline 和失败迁移

## 01、痛点 凌晨两点,订单表新增字段的变更脚本在生产库执行到 V9 时挂了,`flyway_schema_history` 里躺着一行 `success=0`。开发同学第一反应是执行 `flyway repair`,我赶紧拦住。为什么?因为 repair 用错地方,可能把版本链推向更难恢复的深渊。 我是老李,在数据库运维和后端架构的边界上摸爬了多年。见过太多因为一个小小迁移失败,最后演变成全表数据核对、甚至回滚整库的血案。现在微服务和持续交付越来越普遍,数据库 schema 变更的频率远高于过去,但大部分团队对 Flyway 这类工具的“失败现场”仍然缺乏标准处置流程。今天我们就从头梳理一次:当迁移失败发生时,如何科学地定位、修复并避免二次事故。 ``` 迁移失败 ──> 慌张执行 repair ──> 版本链错乱 ──> 更难恢复 │ └──> 正确姿势:先分析 flyway_schema_history,再决定前滚或回滚 ``` ## 02、是什么 先厘清几个关键概念。 Flyway 是基于“版本化迁移”思路的数据库变更管理工具。每次变更被定义为一个带版本号的脚本(如 V9__add_order_remark.sql),执行成功后会在 `flyway_schema_history` 表中写入一条记录,包含版本号、描述、脚本 checksum、执行时间等信息。这个 checksum 是脚本内容的哈希,用来保证版本内容一旦执行过就不能被任意修改。 `repair` 操作的真实用途,是修复 `flyway_schema_history` 表本身的不一致,而不是修复业务表的数据。例如,当一个已经成功执行的迁移脚本被后人修改,导致 checksum 不匹配时,repair 会更新历史记录中的 checksum。它不会倒回业务表结构,也不会回滚已执行的 SQL。很多人把 repair 当成“重试”或“恢复”按钮,这是一个严重误解。 `baseline` 则是在一个已有大量业务表的老库上,让 Flyway 从某个版本开始接管后续变更。它会在历史表中插入一条 baseline 记录,版本一般设为当前最大版本或指定版本,之前的历史一概不纳入管理。 `Forward Migration` 指的是“向前修复”思想:当一个变更失败后,优先考虑在原版本基础上继续往前推出一个修复脚本(例如 V10 修复 V9 未完成的部分),而不是执行自动回滚。生产环境的数据一旦写入,回滚往往意味着数据丢失和逻辑不一致,因此“自动 rollback”不应作为主要方案。 ``` Flyway 核心对象 ─────────────────────────────── 迁移脚本 V1..Vn │ 执行 ▼ flyway_schema_history │ 记录 ├─ version ├─ checksum ├─ success └─ description ``` ## 03、为什么 为什么看到 checksum mismatch 不能第一时间直接 repair?因为 checksum 不匹配往往意味着“有人改了历史脚本”。如果此时直接 repair,Flyway 会把历史记录的 checksum 更新为当前文件的内容,看起来“绿了”,但已经应用过的 SQL 逻辑和当前脚本逻辑可能已经不同。比如 V8__create_order.sql 曾经成功创建了 order 表,后来有人把该文件改成新建一个 customer 表。如果直接 repair,Flyway 会认为 V8 内容无误,但真实数据库中并没有 customer 表,后续迁移也可能在错误假设下继续执行。正确做法是:先搞清楚为什么 checksum 变了——是误改、误提交,还是有意调整?如果是误改,应该还原脚本内容,而不是 repair。只有确认“脚本内容本身没问题,只是历史记录需要同步”时,才考虑 repair。 baseline 的作用也容易被误用。对一个已有几十张甚至几百张业务表的老系统,第一次引入 Flyway 时,不能直接执行 `flyway migrate`,因为 Flyway 会尝试从 V1 开始执行,看到数据库里已存在同名表会报错或冲突。正确步骤是先确定一个版本号(比如 V100),在该版本执行 baseline,让 Flyway 知道“以前的历史我不管了,从 V101 开始由我接管”。这之后新增的迁移脚本版本必须大于 baseline 版本。 结构漂移更是危险的“隐形炸弹”。DBA 或开发人员手动在数据库上添加了字段、修改了索引,但没有同步更新 Flyway 脚本,导致“真实数据库结构”和“Flyway 历史记录”不一致。下一次执行迁移时,可能因为“表已存在”“字段已存在”而失败,或者更糟糕的是,Flyway 在错误的结构假设上执行新脚本,造成数据问题。 大表 ALTER TABLE、锁表、长事务和批量数据迁移的风险也必须正视。几千万行的订单表新增字段,如果直接执行 `ALTER TABLE ... ADD COLUMN`,在 MySQL 的某些版本和引擎下可能锁表,阻塞所有写入,导致订单无法下单。长事务会进一步加剧锁等待,甚至把数据库拖垮。批量数据迁移如果一次性更新全表,会产生巨量 binlog 和主从延迟。 ``` checksum mismatch ──直接 repair──> 掩盖问题 └─正确──> 分析原因:误改就还原,确认改正确才 repair 已有业务表 ──直接 migrate──> 冲突 └─正确──> 先 baseline,再接管后续变更 大表 DDL ──直接 ALTER──> 锁表、业务中断 └─正确──> pt-osc / gh-ost / 分步操作 ``` ## 04、架构 Flyway 的整体架构并不复杂,但需要理解它的状态机。核心就是读迁移脚本 -> 比对历史表 -> 决定执行哪些 -> 写入结果。历史表 `flyway_schema_history` 的字段一般包括 `installed_rank`、`version`、`description`、`type`、`script`、`checksum`、`installed_by`、`execution_time`、`success`。 一个失败的迁移会在表中留下 `success=0` 的记录。后续再执行 `migrate` 时,Flyway 会先检测到这条失败记录,如果没有处理,可能拒绝继续。这时很多人的第一反应是删除失败记录或执行 repair。但正确的做法是先读这条失败记录,弄清楚它在执行哪条 SQL 时失败,失败的具体错误是什么,再决定修复手段。 ``` ┌─────────────────────────────┐ │ Flyway 引擎 │ └──────────────┬──────────────┘ │ 1. 读取迁移脚本 ▼ ┌─────────────────────────────┐ │ 按版本排序,过滤已应用记录 │ │ 比对 checksum / version │ └──────────────┬──────────────┘ │ 2. 执行待应用迁移 ▼ ┌─────────────────────────────┐ │ 执行 SQL / Java 迁移 │ │ 成功:写入 success=1 │ │ 失败:写入 success=0 │ └─────────────────────────────┘ │ ▼ ┌─────────────────────────────┐ │ flyway_schema_history │ └─────────────────────────────┘ ``` 这张图的关键在于:历史表是“账本”,业务表是“实物”。账本和实物必须一致,否则后续迁移全部建立在错误认知上。所以排查时先看账本,再核对实物。 ## 05、实战 下面通过几个模拟实验,把理论知识变成肌肉记忆。 ``` 实验路线图 V9失败 → 分析失败记录 → checksum mismatch → baseline → 结构漂移 → 大表DDL → Forward Migration → 应急SOP ``` **实验一:故意编写错误 V9 SQL,制造 Migration Failed** 假设当前 Flyway 已执行到 V8,现在新增一个 `V9__add_order_remark.sql`,内容如下: ```sql ALTER TABLE orders ADD COLUMN remark varchar(255) DEFAULT NULL; ``` 但我们故意把表名写错: ```sql ALTER TABLE orderx ADD COLUMN remark varchar(255) DEFAULT NULL; ``` 执行 `flyway migrate`,会报类似 `Table 'db.orderx' doesn't exist`,然后在 `flyway_schema_history` 里留下 `success=0` 的记录。此时查询历史表: ```sql SELECT installed_rank, version, description, success, checksum FROM flyway_schema_history WHERE version = '9'; ``` 你会看到 `success` 为 0。注意,`checksum` 列仍会记录这个脚本的 hash,这是关键。不要删除这条记录,也不要立刻 repair。先查看数据库里 `orders` 表是否还被修改过?本例中 SQL 没有执行成功,`orders` 表不变。于是我们可以直接修复 V9 脚本内容(把表名改成 `orders`),然后再次执行 `migrate`。Flyway 会检测到 V9 处于失败状态,并且 checksum 与当前文件不同,可能会报 checksum mismatch 或直接尝试重新执行(取决于配置)。通常需要先清理失败记录。但更稳妥的做法是:确认 V9 没有部分执行成功后,手动删除该失败记录,或使用 `flyway repair` 同步 checksum 后再执行。但注意:这里 repair 是同步 checksum,因为脚本内容已经修正,历史记录的 checksum 需要更新,这样才合理。这正是 repair 的适用场景之一:脚本内容确实需要修正,且修复后需要让历史表认识新 checksum。 **实验二:分析 flyway_schema_history 中的失败记录** 失败记录的信息非常丰富。除了 `success=0`,还要关注 `execution_time`(执行耗时)、`script` 名称、`description` 等。如果脚本是 Java 迁移,还要看错误堆栈。关键是:判断失败点是在 SQL 执行之前还是执行过程中。如果 SQL 含有 DML(数据操作),可能已经部分写入,此时不能简单重试,需要考虑数据幂等性。 例如一个迁移脚本包含两条语句: ```sql UPDATE orders SET status = 'ARCHIVED' WHERE created_at checksum -> repair -> baseline -> Forward Migration -> 结构漂移 ``` **延伸阅读** - Flyway 官方文档:https://flywaydb.org/documentation/ - 在线改表工具:Percona Toolkit 和 gh-ost 的官方使用指南 - 数据库大表变更最佳实践:各大云厂商数据库团队发布的 DDL 风险控制文章

优秀的个人博客,低调大师

🎉🎉🎉Mall4cloud 微服务商城,升级 Spring Boot 3 + VUE 3 啦!

vue2将于2023年12月31日停止维护,vue3的环境也成熟了,所以商城也一把梭哈进行了更新。🎉🎉🎉 🎉🎉🎉本次更新重点: 1. vue 由 2.x 升级到 3.2,使用<script setup>的写法 2. 更换成vite的框架 3. element ui 升级到element plus 4. vuex 升级为pinia 5. 更换为pnmp 6. 菜单页面重写 还有一些其他的更新: 1. echarts 升级到 5.4.2 2. tinymce-vue 升级到 5.1.0 3. vue-router 升级到 4.2.1 4. eslint 升级到 8.38.0 一些其他小改动,具体看提交记录 对于不知道咋搭建开发环境的同学还增加了开发环境搭建的视频噢。 Spring以及VUE官方宣布,SpringBoot2与Vue2将在2023年底停止维护。新项目建议使用SpringBoot3+Vue3的组合,本商城已完成升级!!!

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码