当事人复盘 GitLab 史上最严重的数据库故障-低调大师

当事人复盘 GitLab 史上最严重的数据库故障

2024-02-21 284

故事来源于当事人最近发表的回忆录相关节选。

GitLab 官网上还有当年这次事故的纪录，事件发生在 2018 年 2 月 1 日。

误删库原因

GitLab.com 使用的是 PostgreSQL，一主一备两个集群，分别是 db1.cluster.gitlab.com 和 db2.cluster.gitlab.com。当事人发现 db2 集群无法从 db1 同步数据过来，再尝试了几种方法都不奏效后，就决定尝试重置 db2，也就是清空 db2 的数据目录。只是当事人操作在了主集群 db1 上，当他意识到问题时，300 GB 的数据只剩下 4.5 GB 了。

主库被误删，GitLab.com 只能立马下线了。

恢复过程

GitLab 官方提到有好几道防线，所以最后还是恢复了过来。不过就像一开始当事人回忆里提到的，差一点点就完蛋了。事实上 GitLab 设置的所有防线其实都被击穿了：

每天的自动备份不奏效，因为备份所用的 pg_dump 版本和 GitLab 的 PG 版本不一致，所以每次备份只产生了几个 bytes 的数据。
在 Azure 上的磁盘备份没有在数据库服务器上启用。
到 S3 的备份也是坏的，目录为空。

所幸的是，当事人在操作前的 6 小时，因为知道要处理数据库负载均衡问题，所以做了一个手工备份。所以最后 GitLab.com 花了 24 个小时，把这个手工备份恢复了出来，但是 6 小时的数据是完全没了。

复盘

备份恢复需要定期演练。不演练还不如不要备份。这点其实也从侧面体现了云数据库服务商的优势。因为他们能够保障备份的有效性，也提供了 Point-in-time-recovery (PITR) 这样的闪回能力。GitLab 是自己在云主机上搭了数据库服务，手搓一套备份/恢复的方案，结果完全不可用。
不要在疲劳时操作数据库。当事人本来已经因为时间很晚，准备休息了。但因为突然出现的同步问题，继续熬夜。

尽可能通过工具而不是人肉操作。GitLab 的这个故障应该是当事人直接登上服务器，进行命令行操作的。这里至少有 2 个卡点可以引入工具，一个是登陆服务器，一个是登陆后在服务器上执行命令。如果通过工具操作的话，工具界面会提示正在操作生产库，并且进一步可以设置审批流程。
危险操作事前先备份。这个故障可以挽回在于当事人还是一个老手，所以做了事前手工备份，否则后果不堪设想。

前段时间 Linear 误用 TRUNCATE 也造成了其史上最大故障。对生产环境，尤其是数据库上的操作永远要心怀敬畏。操作时应该尽量通过工具自动化。万不得已需要手动挡，始终也要确保有可用备份兜底。

💡 更多资讯，请关注 Bytebase 公号：Bytebase

微信关注我们

原文链接：https://my.oschina.net/u/6148470/blog/11044338

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Sora背后团队大揭秘！天才00后？

现在世界上最受关注的技术团队是哪一支？ Sora 团队，已经来到聚光灯中心。不仅项目负责人评论区被挤爆，成了𝕏最火“景点”。当 OpenAI 出手发布 Sora 之后，给人一种降维打击的感觉—— 效果和之前的技术相比高出了几个档次。这就难免会让人好奇，到底是什么样的人才能做出这样炸裂的工具的呢？今天我们就来盘点一下Sora背后的团队成员。这些参与者中，已知的核心成员包括研发负责人：Tim Brooks、Bill Peebles、系统负责人： Connor Holmes 等。这些成员的信息也成为了众人关注的焦点。重点来介绍一下Sora的几位主要负责人，包括 Tim 和 Bill 在内，Sora 的主要负责人一共有三名（以下排名不分先后） Sora的总负责人Tim Brooks，博士毕业于 UC Berkeley 的「伯克利人工智能研究所」BAIR，导师为 Alyosha Efros。 Tim 本科就读于卡内基梅隆大学，主修逻辑与计算，辅修计算机科学，其间在 Facebook 软件工程部门实习了四个月。 2017 年，本科毕业的 Tim 先到 Google 工作了近两年，...

2024-02-21

295

本文分享自华为云社区《【理解云容器网络】2-基础篇-ipvs介绍》，作者：可以交个朋友。 IPVS简介 ipvs是工作在Linux内核态的4层负载均衡；和用户态的负载均衡软件(如nginx、haproxy)功能类似：作为客户端访问的统一入口并将访问请求根据调度算法转给后端真实的服务器。相比于用户态负载均衡，ipvs为Linux内核子模块性能更强，但ipvs仅工作在4层无法处理7层数据(比如SSL证书、修改HTTP请求头)。 IPVS调度算法 IPVS是如何决策应该把请求调度到哪个后端RS(Real Server)上的呢？这是由负载均衡调度算法决定的。IPVS常用的调度算法有：轮询（Round Robin）：IPVS认为集群内每台RS都是相同的，会轮流进行调度分发。从数据统计上看，RR模式是调度最均衡的。加权轮询（Weighted Round Robin）：IPVS会根据RS上配置的权重，将消息按权重比分发到不同的RS上。可以给性能更好的RS节点配置更高的权重，提升集群整体的性能。最小连接数（Least Connections）：IPVS会根据集群内每台RS的连接数统计情况，将消...

2024-02-22

305

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。