全链路灰度在数据库上我们是怎么做的？-低调大师

全链路灰度在数据库上我们是怎么做的？

2022-07-28 395

作者：十眠

什么是全链路灰度？

微服务体系架构中，服务之间的依赖关系错综复杂，有时某个功能发版依赖多个服务同时升级上线。我们希望可以对这些服务的新版本同时进行小流量灰度验证，这就是微服务架构中特有的全链路灰度场景，通过构建从网关到整个后端服务的环境隔离来对多个不同版本的服务进行灰度验证。

点击下方链接，查看直播教程：

https://yqh.aliyun.com/live/detail/29004

在发布过程中，我们只需部署服务的灰度版本，流量在调用链路上流转时，由流经的网关、各个中间件以及各个微服务来识别灰度流量，并动态转发至对应服务的灰度版本。如下图：

上图可以很好展示这种方案的效果，我们用不同的颜色来表示不同版本的灰度流量，可以看出无论是微服务网关还是微服务本身都需要识别流量，根据治理规则做出动态决策。当服务版本发生变化时，这个调用链路的转发也会实时改变。相比于利用机器搭建的灰度环境，这种方案不仅可以节省大量的机器成本和运维人力，而且可以帮助开发者实时快速的对线上流量进行精细化的全链路控制。

OpenSergo[1] 流量路由标准

Q：OpenSergo是什么？

A：OpenSergo 是一套开放、通用的、面向分布式服务架构、覆盖全链路异构化生态的服务治理标准，基于业界服务治理场景与实践形成服务治理通用标准。OpenSergo 的最大特点是以统一的一套配置/DSL/协议定义服务治理规则，面向多语言异构化架构，做到全链路生态覆盖。无论微服务的语言是Java, Go, Node.js还是其它语言，无论是标准微服务还是 Mesh 接入，从网关到微服务，从数据库到缓存，从服务注册发现到配置，开发者都可以通过同一套OpenSergo CRD标准配置针对每一层进行统一的治理管控，而无需关注各框架、语言的差异点，降低异构化、全链路服务治理管控的复杂度

Q：为什么了解全链路灰度之前先给我介绍 OpenSergo？ A：OpenSergo 定义了一套统一的 YAML 配置方式来针对分布式架构进行全链路的服务治理的规范，介绍规范与标准的同时，我们可以了解其中的技术细节的实现，同时我们还可以将新的组件与 OpenSergo 的标准进行实现。

流量路由，顾名思义就是将具有某些属性特征的流量，路由到指定的目标。流量路由是流量治理中重要的一环，开发者可以基于流量路由标准来实现各种场景，如灰度发布、金丝雀发布、容灾路由、标签路由等。

全链路灰度示例：

流量路由规则(v1alpha1) 主要分为三部分：

Workload 标签规则 (WorkloadLabelRule)：将某一组 workload 打上对应的标签，这一块可以理解为是为应用或者对应存储层的话就是数据库负载（数据库、表）打上对应的标签
流量标签规则 (TrafficLabelRule)：将具有某些属性特征的流量，打上对应的标签
按照 Workload 标签和流量标签来做匹配路由，将带有指定标签的流量路由到匹配的 workload 中

给流量打标：

需要将具有某些属性特征的流量，打上对应的标签。

假设现在需要将深圳地域的用户灰度到新版主页，测试用户 location=cn-shenzhen，cn-shenzhen 位于 location header 中：

apiVersion: traffic.opensergo.io/v1alpha1
kind: TrafficLabelRule
metadata:
  name: my-traffic-label-rule
  labels:
    app: spring-cloud-zuul
spec:
  selector:
    app: spring-cloud-zuul
  trafficLabel: gray
  match:
  - condition: "=="    # 匹配表达式
    type: header       # 匹配属性类型
    key: 'location'   # 参数名
    value: cn-shenzhen       # 参数值

通过上述配置，location header 为 cn-shenzhen 的 HTTP 流量，打上 gray 标，代表这个流量为灰度流量。

给 Workload 打标签：

在使用 Nacos 作为服务发现的业务系统中，一般是需要业务根据其使用的微服务框架来决定打标方式。如果 Java 应用使用的 Spring Cloud 微服务开发框架，我们可以为业务容器添加对应的环境变量来完成标签的添加操作。比如我们希望为节点添加版本灰度标，那么为业务容器添加 traffic.opensergo.io/label: gray ，这样框架向 Nacos 注册该节点时会为其添加一个 gray 标签。

对于一些复杂的 workload 打标场景（如数据库实例、缓存实例标签），我们可以利用 WorkloadLabelRule CRD 进行打标。示例：

apiVersion: traffic.opensergo.io/v1alpha1
kind: WorkloadLabelRule
metadata:
  name: gray-sts-label-rule
spec:
  workloadLabels: ['gray']
  selector:
    db: mse-demo
    table: mse_demo_table_gray

全链路灰度在数据库上的常见方案

方案一：影子库

每个单独维护一套独立的库，假设基线环境的库的名称为 mse-demo，那么 gray 环境的流量可以映射到 mse-demo-gray 的库中，我们在同一个实例上建立对应环境流量的影子库，我们在业务中维护着各个库连接的连接池，根据不同的流量标选择对应的影子库的连接去访问，以此达到数据和基线环境库隔离的效果，从而避免了灰度环境流量产生的数据对基线环境库造成污染。

方案二：影子表

类似影子库方案，针对影子表方案，是在同一个实例上的同一个数据库上建立对应的影子表。我们在执行 SQL 的过程中，对灰度流量的 SQL 进行解析与修改，实现不同环境流量的 SQL 分别访问对应的表，假设基线环境的表的名称为 mse_demo_table，那么 gray 环境的流量可以映射到 mse_demo_table_gray 的表中。从而实现灰度数据和基线环境数据表隔离的效果。

MSE[2] 数据库全链路灰度能力

MSE 提供了一种数据隔离的方案，您可以在不需要修改任何业务代码的情况下，实现数据库层面全链路灰度。下面介绍 MSE 基于 Mysql 数据存储通过影子表的方案实现全链路灰度的能力。

前提条件

应用接入 MSE
部署 Demo 应用

在阿里云容器服务中部署 A、B、C 三个应用，每个应用分别部署⼀个 base 版本和⼀个 gray 版本；并部署⼀个 Nacos Server 应用，用于实现服务发现。具体可参考教程完成应用部署：部署 Demo 应用程序 [3 ] 。

Demo 应用介绍，本 Demo 中的 C 应用会向数据库执行如下语句：

CREATE TABLE `mse_demo_table` (
  `id` int NOT NULL AUTO_INCREMENT,
  `location` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb3

其中涉及到的数据库建表语句：

CREATE TABLE `mse_demo_table` (
  `id` int NOT NULL AUTO_INCREMENT,
  `location` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb3

创建影子表，我们 Demo涉及到的数据库表有 mse_demo_table，因为我们需要创建灰度 gray 环境，因此我们需要提前创建 mse_demo_table_gray 表。

CREATE TABLE `mse_demo_table_gray` (
  `id` int NOT NULL AUTO_INCREMENT,
  `location` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb3
;

第一步：配置全链路灰度规则

您需要配置完成 MSE 的全链路发布，具体操作细节可参考教程：配置全链路灰度 [ 4] 。

创建如下泳道规则：

第二步：配置数据库全链路灰度

我们需要配置以下环境变量来额外开启/配置数据库的全链路灰度能力

第三步：结果验证

我们发起灰度请求，发现流量请求均访问灰度环境：

curl -H "location: cn-shenzhen" http://106.14.XX.XX/a
Agray[172.18.XX.XX] -> Bgray[172.18.XX.XX] -> Cgray[172.18.XX.XX]%

我们通过如下 SQL 查询影子表：

SELECT * FROM `mse_demo_table_gray`

发现灰度环境的数据都插入至影子表。

不仅仅是全链路灰度

目前为止 MSE 服务治理全链路灰度能力已经支持了云原生网关、ALB、APISIX、Apache Dubbo、Spring Cloud、RocketMQ 以及数据库。在数据库层面我们通过影子表的方式实现了数据层面的流量隔离，下一步我们会将该能力进行进一步产品化，全链路灰度也会支持缓存层面的能力。

服务治理是微服务改造深入到一定阶段之后的必经之路，在这个过程中我们不断有新的问题出现。

除了全链路灰度，服务治理还有没其他能力？
服务治理能力有没一个标准的定义，服务治理能力包含哪些？
多语言场景下，有无全链路的最佳实践或者标准？
异构微服务如何可以统一治理？

当我们在探索服务治理的过程中，我们在对接其他微服务的时候，我们发现治理体系不同造成的困扰是巨大的，打通两套甚者是多套治理体系的成本也是巨大的。为此我们提出了 OpenSergo 项目。OpenSergo 要解决的是不同框架、不同语言在微服务治理上的概念碎片化、无法互通的问题。

OpenSergo 社区也在联合各个社区进行进一步的合作，社区来一起讨论与定义统一的服务治理标准。当前社区也在联合 bilibili、字节跳动等企业一起共建标准，也欢迎感兴趣的开发者、社区与企业一起加入到 OpenSergo 服务治理标准共建中。欢迎大家加入 OpenSergo 社区交流群（钉钉群）进行讨论：34826335

参考链接：

[1] OpenSergo：

https://opensergo.io/zh-cn

[2] MSE 微服务引擎：

https://www.aliyun.com/product/aliware/mse

[3] 部署Demo 应用程序：

https://help.aliyun.com/document_detail/404845.html#h3-url-3

[4] 配置全链路灰度：

https://help.aliyun.com/document_detail/404845.html

MSE 注册配置中心专业版首购享 9 折优惠，MSE 云原生网关预付费全规格享 9 折优惠。点击此处，即享优惠！

微信关注我们

原文链接：https://my.oschina.net/u/3874284/blog/5559813

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

管理区解耦架构见过吗？能帮客户搞定大难题的

摘要：管理区解耦具体是什么？有哪些应用场景？本期带你了解。本文分享自华为云社区《【华为云Stack】【大架光临】第13期：管理区解耦架构见过吗？帮政企客户搞定大难题》，作者：李俊武华为云Stack资深架构师，申思华为云Stack基础服务首席架构师。管理区解耦介绍类似公有云架构理念，主打政企客户本地部署的华为云Stack保持和华为公有云同架构，包括Region、AZ、主机组等相关区域概念也基本一致。从云平台相关组件/云服务作用域划分来看，通常业界也会将组件/云服务部署位置分为Global作用域和Region作用域，Global组件/服务就是属于云的管理区。 • Global组件/服务：作用在各Region的，比如云管、认证鉴权的IAM服务、跨Region的管理面容灾或业务面的CSDR、跨Region的网络互通CC服务（Cloud Connect）等，在实际使用中面向一朵云下的多个Region • Region作用域：Region级的服务则是通常作用在Region内部，比如Region1的ECS服务可以给Region1发放虚拟机，但它无法发放另一个Region2的虚拟机，类似的还...

2022-07-28

422

本文作者：钟荣荣Presto TSC member/Commiter 将Alluxio与Presto结合运行在社区中越来越流行，使用固态硬盘或内存来缓存热数据集，能够实现近Presto worker的数据本地行，从而避免了远程读取数据导致的高延迟。Presto支持基于哈希的软亲和调度（soft affinity scheduling），这样整个集群中相同数据只缓存一、两个副本，更多的热数据能被缓存到本地，提高缓存效率。现有哈希算法在集群规模发生变化时效果并不理想。针对这一问题，本文介绍了一种可用于软亲和调度的新哈希算法——一致性哈希（consistent hashing）。软亲和调度 Presto使用一种叫做软亲和调度（soft affinity scheduling）的调度策略，将一个分片（split, 最小的数据处理单位）调度到同一个Presto worker（首选节点）上。分片和Presto worker之间的映射关系是由分片上的哈希函数计算出来的，确保同一个分片总是被散列到同一个worker上。在第一次处理分片时，数据将被缓存在首选worker节点上。当后续的查询处理同一分...

2022-07-29

438

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。