混合云应用双活容灾最佳实践-低调大师

混合云应用双活容灾最佳实践

2022-01-18 449

作者：远跖

前言

越来越多的企业在数字化转型和上云进程中选择混合云的形态（云+自建 IDC 或云+其他厂商云）来进行容灾建设，一方面不会过度依赖单一云厂商，另一方面还能充分利用已有的线下 IDC 资源。

MSHA 云原生多活容灾解决方案 [1] ，也发布了混合云多活容灾产品能力。本文会通过一个业务 Demo 案例，介绍混合云容灾建设的难点，以及如何基于 MSHA 来快速搭建应用双活架构并具备分钟级业务恢复能力。

业务混合云容灾实践

业务背景信息

A 企业是一个零售行业电商交易平台，业务系统部署在自建 IDC 机房，存在以下痛点：

业务仅在 IDC 单机房部署，缺少容灾能力。
IDC 容量不足，物理机器升级替换周期长，不足以支撑业务的快速发展。

业务在快速发展过程中，多次遇到的容量不足以及故障问题引起了公司高层的重视，决心进行容灾能力建设。由于自建 IDC 是公司已有资产且稳定使用多年，同时不希望过度依赖于云，因此期望建立 IDC+云的混合云形态容灾架构。

当前应用部署架构

电商交易平台包含的应用：

frontend：Web 应用，负责和用户交互。
cartservice：购物车应用，提供购物车添加、存储和查询服务。
productservice：商品应用，提供商品、库存服务。

技术栈：

SpringBoot。
RPC 框架：SpringCloud、Dubbo，注册中心使用自建的 Nacos、Zookeeper。
数据库 Redis 和 MySQL。

混合云容灾目标

业务容灾需求归纳如下：

云上云下互容灾，切换 RTO 为分钟级。 期望云上云下相互容灾，继续发挥 IDC 的价值，且不 100% 依赖于云。面对 IDC 或云故障场景，关键时刻要敢切换、能切换，且切换 RTO 要求小于 10 分钟。
无数据一致性风险。 云上云下的两个数据中心数据强一致，日常态和容灾切换过程中都要避免存在脏写等数据一致性风险。
一站式管控。 业务容灾涉及的技术栈框架和云产品，需要统一管控、统一运维、统一切换，操作收敛在一站式管控平台，方便故障场景快速白屏化操作，自动化执行。
实施周期短，改造成本低。 业务存在多个产品线，依赖关系复杂、调用链路长，且处于高速发展频繁迭代时期，期望容灾建设不会给业务研发团队带来改造负担。

建设难点

流量管理难度高
若采用 DNS 将流量按权重解析到云上和云下，存在修改 DNS 解析生效时间长的问题（通常为十分钟或小时级，参见 DNS 解析生效时间 FAQ [2] ），不能满足容灾切换小于 10 分钟的要求。
业务应用所依赖的 Redis 和 MySQL，IDC内采用开源自建而云上直接使用云产品，要实现开源自建+云产品的容灾切换能力难。
容灾切换数据质量保障难
容灾切换过程中，可能因数据同步延迟导致读到旧数据，以及切换规则推送到分布式应用节点时间不一致等原因可能造成云上云下数据库同时读写而出现脏写的问题，整个切换过程数据质量保障是个关键点，同时也是难点。
无业务代码侵入难
要实现 Redis、MySQL 容灾切换能力，通常需要业务应用配合改造，对业务代码侵入大。

解决方案

结合业务容灾需求和混合云 IDC+云形态的特点，采用应用双活架构能够较好的满足业务容灾诉求。

应用双活架构

架构简图：

架构规范：

选择离 IDC 物理距离<=200km 的云上 Region，网络延迟较低（约 5~7ms）。
应用、中间件云上云下冗余对称部署，同时对外提供服务（应用双活）。
数据库异地主备，异步复制备份。应用读写同一数据中心的数据库，避免考虑一致性问题。

详细方案

应用流量双活

业务应用云上云下对称部署，并基于 MSHA 接入层集群，来承接入口 HTTP/HTTPS 流量，按照比例或精准路由规则云上云下分流。多活控制台提供 MSFE 集群界面白屏化的部署、扩缩容、监控等常规运维能力，以及应对故障场景的分钟级切流能力。

服务互通和同单元优先调用

业务应用需要按业务产品线分批上云，过程中存在下游应用仅 IDC 部署的情况。利用 MSHA 注册中心同步功能，可实现云上云下服务互通，助力业务上云。同时基于 MSHA-Agent 的切面能力，在 Dubbo/SpringCloud 服务调用时，Consumer 优先调用同单元内的Provider，从而避免跨机房调用带来的网络延迟，减小业务请求 RT。

数据同步&数据库连接切换

数据库异地主备部署，云上云下应用日常态均读写云上 Redis 和 RDS 数据库，无需考虑数据一致性问题。MSHA 控制台通过集成 DTS 同步组件，支持云上云下的数据同步（异步复制）。同时基于 MSHA-Agent 切面能力，具备应用数据库访问连接的切换能力，云上 Redis 或 RDS 故障则可将读写访问连接切换到 IDC 内的 Redis 或 MySQL，反之亦然。切换过程中还具备禁写保护能力，避免产生读到旧数据以及脏写等数据质量问题。

一站式管控&无业务代码侵入

MSHA 控制台，支持 HTTP、数据库访问流量的统一管控、统一切换，操作收敛在一站式管控平台，方便故障场景快速白屏化操作，自动化执行。同时针对业务应用 MSHA 提供了 Agent 接入方式，无需业务代码改造即可获得相关容灾切换能力。

改造内容

应用上云
选择跟自建 IDC 较近的阿里云地域，云上完全冗余的部署一套应用、中间件和数据库，以便搭建云上云下双活容灾架构。在这个 Demo 案例中，选择杭州 Region 作为容灾单元。
网络打通：
接入 CEN 云企业网，实现云上云下网络互通（详见多接入方式构建企业级混合云文档 [3 ] ）。
接入集群部署和配置：
云上云下部署 MSHA 接入层集群（MSFE），上挂 SLB 用于公网接入以及 MSFE 集群的负载均衡（参见使用文档 [4 ] ）。
录入域名、URI 和后端应用地址，从而具备云上云下分流和分钟级切流能力（参见使用文档 [5 ] ）。
应用：
云上分批部署业务应用。
JAVA 应用安装 MSHA-Agent，并使用 Nacos 作为管控命令下发通道，从而具备微服务同单元优先调用以及数据库访问连接切换能力（参见使用文档 [6 ] ）。
中间件和数据库：
云上部署 MSE 托管 ZK/Nacos 注册中心、云数据库 Redis 和 RDS，建议使用跨可用区部署高可用版本，具备同城双活容灾能力。
若存在某应用仅 IDC 部署的情况，需要配置注册中心的服务同步（参见使用文档 [7 ] ）。
配置云数据库 Redis/RDS 和自建 Redis/MySQL 的数据同步（参见使用文档 [8 ] ）。

改造后的应用部署架构

日常场景：IDC+云上同时承担业务流量--应用双活

访问电商 Demo 首页，查看实际流量调用链：概率性的访问到北京或杭州单元，均读写北京单元内的数据库。

容灾能力

RPO：<=1min（依赖于 DTS 同步性能）
RTO：<=1min（依赖于 DTS 同步延迟，MSHA 组件实现秒级切换。整体 RTO<=1min）

容灾能力验证

基于 MSHA 完成应用双活架构建设后，还需验证业务容灾能力是否符合预期。接下来将制造真实的故障，来验证容灾恢复能力。

7.1 演练准备

进入 MSHA 控制台，在左侧菜单栏选择监控大盘。页面顶部，下拉选择切换到实际使用的命名空间。
查看页面中的各项监控指标。

说明： 演练前，基于 MSHA 流量监控或其他监控产品，确定业务稳态的监控指标（如日常情况 RT<=200ms，错误率<1%），以便在故障发生时判断故障影响面以及在故障恢复后判断业务的实际恢复情况。

7.2 应用故障注入

这里我们使用阿里云故障演练产品，对阿里云-北京的商品应用注入故障。

进入 Chaos 故障演练产品控制台 [9 ] ，顶部选择切换到相应地域，左侧导航栏选择我的空间。
在我的空间选择配置好的演练（50% 概率网络丢包），然后单击执行演练。

故障注入成功后，打开电商首页或进行下单，有概率出现访问异常，符合预期。

7.3 切流恢复

在北京单元的商品应用故障的情况下，可以通过 MSHA 切流功能，将云上入口流量切 0，快速恢复业务。

预期

100% 流量切换到杭州单元后，业务完全恢复，不受北京单元的故障影响。

切流操作

进入 MSHA 控制台，在左侧导航栏选择切流>异地应用双活切流。
在切流页面，对北京单元点击一键切零。

单击执行预检查，在切流检查区域，单击确认，开始切流。
在切流任务页面的当前状态显示切流完成，表示切流已成功。

刷新电商 Demo 首页，多次访问均能正常展示，符合预期。

查看实际流量调用链：流量始终访问到杭州单元，读写北京单元内的数据库。

7.4 数据库故障注入

从上面调用链可以看出，杭州单元内的应用仍然访问的是北京单元的 Redis、MySQL 数据库。我们继续使用 Chaos 故障演练 [10 ] 产品对北京单元的 Redis、MySQL 数据库注入故障，制造数据库故障场景。

故障注入成功后，打开电商首页或进行下单始终访问异常，符合预期。

7.5 切换数据库进行恢复

在北京单元的数据库故障的情况下，可以通过 MSHA 数据库切换功能，将应用访问的 Redis/MySQL 的连接切换至杭州单元的数据库（切换过程中会等待数据同步追平，期间会短暂禁写）。

预期

应用连接的数据库切换到杭州后，业务完全恢复，不受北京单元的故障影响。

切流操作

进入 MSHA 控制台，在左侧导航栏选择异地应用双活>数据层配置。

2.在数据保护规则列表中，找到商品、订单、购物车数据库，逐个点击主备切换。

点击主备切换后，会进入预检查页面，确认各检查项状态正常后，点击在确认执行，则进入切换详情页，并自动执行切换流程。

主备切换详情页，可以看到切换进度和切换结果，任务进度 100% 后，表示切换完成。

商品、订单、购物车数据库都主备切换完成后。多次访问电商 Demo 首页或进行下单，发现均已正常，主备切换后业务功能完全恢复，符合预期。

总结

在本篇文章中，我们介绍了 MSHA 多活容灾助力企业进行混合云应用双活容灾建设的实践案例，给出了容灾架构建设实践方法，同时利用 Chaos 故障演练产品注入真实故障，来验证故障场景业务容灾能力是否符合预期。

最后，欢迎大家扫描下方二维码或搜索群号（31623894）进钉钉群进行咨询和交流，群名称：多活容灾(MSHA)交流钉钉群。

相关阅读

[1] MSHA 云原生多活容灾解决方案

https://www.aliyun.com/product/aliware/ahas/msha

[2] DNS 解析生效时间 FAQ

https://help.aliyun.com/document_detail/39837.html

[3] 多接入方式构建企业级混合云文档

https://help.aliyun.com/document_detail/181844.html

[4] 使用文档

https://help.aliyun.com/document_detail/184980.html

[5] 使用文档

https://help.aliyun.com/document_detail/328617.html

[6] 使用文档

https://help.aliyun.com/document_detail/295852.html

[7] 使用文档

https://help.aliyun.com/document_detail/369539.html

[8] 使用文档

https://help.aliyun.com/document_detail/184971.html

[9] Chaos 故障演练产品控制台

https://common-buy.aliyun.com/?commodityCode=ahas_001#/buy

[10] Chaos 故障演练

https://common-buy.aliyun.com/?commodityCode=ahas_001#/buy

strongshop 开源跨境商城 v1.5.0 发布，新增产品评论、订单配置、数据总计等功能

stongshop v1.5.0 更新内容如下：新增产品评论功能新增后台订单配置新增后台注册登录配置新增后台面板显示数据总计新增后台面板显示系统环境和版本信息新增查看strongshop版本命令新增注册图片验证码优化 strongshop 命令名称优化结算页面请求 loading 状态优化支持选择产品规格切换产品时采用 ajax 异步加载产品详情优化禁止修改产品规格类型优化产品详情显示普通规格信息修复未支付状态下查看订单详情错误 StrongShop 简介 StrongShop 是一款免费开源的跨境电商商城网站。 StrongShop 是基于 PHP Laravel 框架开发的一款 Web 商城系统。开发缘起是公司的一套跨境商城系统，原先公司使用的系统是基于 Ecshop 二次开发的，后来因为漏洞太多甚至还被黑客盗过数据库，于是基于 Laravel框架重新开发了一套。然后觉得现在不都流行开源嘛，于是兴起学着开源 (●ˇ∀ˇ●)。感兴趣的小伙伴可以一起交流学习！系统特点基于 PHP Laravel6 框架开发遵循 BSD-3-...

2022-01-19

491

作者：灵苒在实际的业务场景中，压测是必不可少的一环，无论是对服务器、数据库、网络等性能瓶颈的评估，还是如浏览、下单、支付等重要流量节点的业务连续性保障，亦或是搬站上云整体业务稳定性的预估，这些都需要性能压测来帮助你建立对系统和业务的完整认知。根据 Google 的统计，如果网站打开慢每 500 毫秒，用户访问量将下降 20%。根据 Amazon 统计，每慢 100 毫秒，交易额下降 1%。这些事件和统计数据为大家敲响了警钟，也客观说明了性能压测对于企业应用的重要性。压测是通过模拟用户行为对业务系统发起请求，测算出系统的承载能力，并对系统做一次全面的体检，压测后可根据压测表现优化系统瓶颈，防止出现线上故障。业界常见的压测软件 JMeter 和 PTS 目前 JMeter 是性能压测领域应用最广泛的开源软件。对于场景简单，要求测试并发量不高的情况下，JMeter 本地测试就能满足需求。但随着互联网用户的增加，对系统承载更大并发的需求日渐提升，而单台 JMeter 施压机的施压能力有一定上限，所以需要使用多台施压机，以提高 JMeter 的施压能力，这就要使用到 JMeter 的分布...

2022-01-18

418

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。