GitHub.com 跑了 1200 多台 MySQL 主机，如何无缝升级到 8.0？-低调大师

GitHub.com 跑了 1200 多台 MySQL 主机，如何无缝升级到 8.0？

2023-12-11 361

GitHub 团队近日分享了他们将 GitHub.com 的底层数据库无缝升级到 MySQL 8.0 的经验。

据介绍，GitHub 使用 MySQL 来存储大量关系数据，因此在不影响网站服务级别目标 (SLO) 的情况下升级主机集群（1200 多台 MySQL 主机）绝非易事。其团队表示，为了升级到 MySQL 8.0，他们规划、测试和升级本身总共花费了一年多的时间，并且需要 GitHub 内部多个团队的协作。

GitHub 的 MySQL 基础设施概览：

由 1200 多台主机组成，包括数据中心中的 Azure 虚拟机和裸机主机
存储超过 300 TB 的数据，并在 50 多个数据库集群中每秒处理 550 万次查询
每个集群都配置为具有主副设置的高可用性
分区存储数据——利用水平和垂直分片来扩展 MySQL 集群，以及使用 MySQL 集群来存储特定产品领域的数据。此外还为大结构域 (large-domain) 提供了水平分片的 Vitess 集群，这些区域的增长超出了单主 MySQL 集群的规模
庞大的工具生态，包括 Percona Toolkit、gh-ost、orchestrator、freno 和用于操作主机集群的内部自动化工具

由于需要操作两个版本的 MySQL，因此 GitHub 内部使用的工具和自动化设施需要能够兼容处理混合版本，并了解 5.7 和 8.0 之间新的、不同的或已弃用的语法。

为了满足可用性标准，GitHub 团队采取了逐步升级策略，满足在整个过程中进行 checkpoint 和回滚的需求。下面是他们制定的升级计划：

步骤 1：升级滚动副本 (rolling replica)
步骤 2：升级备份拓扑 (replication topology)
步骤 3：将 MySQL 8.0 主机提升为主集群
步骤 4：升级面向内部的实例类型
步骤 5：清理，确认集群不需要回滚并成功升级到 MySQL 8.0 后，删除 5.7 服务器。验证工作会至少经历一个完整的 24 小时流量周期，以确保在高峰流量期间不会出现问题。

至于为什么要升级到 MySQL 8.0，GitHub 团队表示主要是因为 MySQL 5.7 的生命周期即将结束。此外升级后可以获得最新安全补丁、错误修复和性能增强的 MySQL 版本。他们还希望测试 8.0 中的新功能并从中受益，包括即时 DDL、隐形索引和压缩的 bin 日志等。

详细的技术细节查看：https://github.blog/2023-12-07-upgrading-github-com-to-mysql-8-0/

TIOBE 12 月：C# 有望成为年度编程语言

TIOBE 公布了 2023年 12 月的编程语言排行榜。 2023 年度 TIOBE 编程语言名单即将出炉，其中最有望胜出的当属C#。事实上，早在 2022 年C# 就有望夺得该桂冠，但却在最后时刻被C++ 反超。而在今年，C# 的胜率又多出了几分；因为该语言在一年内的增长率为 +2.38%，与其最接近的竞争者 Fortran 和 F# 的增长率则仅分别上涨了 +0.64% 和 +0.48%。此外，Top 20 中的大部分语言人气都出现了下降。TIOBE CEOPaul Jansen 评论称，“答案就在所有小语言所在的长尾（long tail）部分。这些语言的受欢迎程度都在上升，而且越来越接近大语言”。例如：一年前，排名第 50 位的语言得分仅为 0.14%，但现在第 50 位语言的得分已经达到了 0.24%。 TIOBE 12 月 TOP 20 编程语言相较上月，除了 Ruby(18→19)、R (19→20) 以及 Rust (20→18) 之间出现了小范围波动外，Top10-20 榜单没有其他任何排名变化，这也是近期以来榜单变动最小的一次。 TOP 10 编程语言 TIOB...

2023-12-11

369

原文链接 f 15 年前，GitHub 从一个使用一个 MySQL 数据库的 Ruby on Rails 应用程序起步。从那时起，GitHub 不断的演进着 MySQL 架构，以满足平台的扩展和弹性需求，包括构建高可用性、实施自动化测试和数据分片。如今，MySQL 仍是 GitHub 基础架构的核心部分，也是我们首选的关系型数据库。以下是我们如何将 1200 多台 MySQL 主机从 5.7 版本升级到 8.0 的故事。在不影响我们 SLO 的情况下升级集群并非易事--规划、测试和升级本身就花费了一年多的时间，并且需要 GitHub 内部多个团队的通力协作。升级的动机为什么要升级到 MySQL 8.0？随着 MySQL 5.7 的生命周期即将结束，我们将我们的集群升级到了下一个主要版本 MySQL 8.0。我们还希望使用能够获得最新安全补丁、错误修复和性能增强的 MySQL 版本。我们还想测试 8.0 中的一些新功能并从中受益，包括在线 DDL、隐藏索引和压缩的 binlogs 等。 GitHub 的 MySQL 基础设施在我们深入了解如何进行升级之前，让我们先从 10,000...

2023-12-11

404

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。