全链路灰度这样做，新需求迭代上线也能放心干饭-低调大师

全链路灰度这样做，新需求迭代上线也能放心干饭

2022-02-24 567

作者：泮圣伟（十眠）

概要

全链路灰度是微服务最核心的功能之一，也一直是云上客户在微服务化深入过程中必须具备的功能。全链路灰度因为涉及到的技术、场景众多，如果云上企业一一自己实现，需要花费大量人力成本对其进行扩展与运维。

涉及到的技术领域

RPC: 微服务之间的路由
- Java 体系涉及 Spring Cloud，Apache Dubbo 主流微服务框架，多语言涉及 Service Mesh
- 端云互联场景，线上流量 DEBUG。本地通过跳板机将本地服务注册到注册中心，希望线上流量满足路由规则后路由到本地服务对于的实例上再进行 DEBUG，不满足路由规则的流量路由到线上实例
MQ
- 全链路压测场景下，压测流量发送消息到影子 Topic，压测流量只订阅影子 Topic
- 流量隔离/全链路灰度场景下，使用相同 Topic，线上流量订阅线上消息，隔离流量只订阅灰度消息
Database
- 全链路压测场景下，压测流量数据落库到到影子表上
- 高可用切流的场景下，禁止数据库操作；单元化下，流量没有单元标，禁止数据库操作
Redis
- 全链路压测场景下，压测流量缓存落库到到影子 KEY 上
- 高可用切流的场景下，禁止缓存操作；单元化下，流量没有单元标，禁止缓存操作
分布式任务调度
- 对于任务调度，灰度环境提交的任务，被调度到灰度环境的机器上执行
前端
- 不同客户看到的页面信息不一致
可观测性
- 通过可观测性监控流量走向，查看流量逃逸情况

MSE 全链路灰度解决方案

目前 MSE 服务治理专业版提供了完整的产品化的全链路灰度解决方案，覆盖 RPC、MQ、可观测性等绝大多数场景。只要您的架构是基于 Spring Cloud 或者 Dubbo 框架，您的应用无需升级，无需一行代码改动，即可玩转企业级全链路灰度功能。

全链路隔离流量泳道

1) 通过设置流量规则对所需流量进行'染色'，'染色'流量会路由到灰度机器。

2) 灰度流量携带灰度标往下游传递，形成灰度专属环境流量泳道，无灰度环境应用会默认选择未打标的基线环境。

端到端的稳定基线环境

未打标的应用属于基线稳定版本的应用，即稳定的线上环境。当我们将发布对应的灰度版本代码，然后可以配置规则定向引入特定的线上流量，控制灰度代码的风险。

流量一键动态切流

流量规则定制后，可根据需求进行一键停启，增删改查，实时生效。灰度引流更便捷。

可观测能力

具备泳道级别的单应用可观测能力

同时具备全链路应用的可观测能力，可以从全局视角观察流量是否存在逃逸情况。灰没灰到，一目了然。

低成本接入，基于 Java Agent 技术实现无需修改一行业务代码

MSE 微服务治理能力基于 Java Agent 字节码增强的技术实现，无缝支持市面上近5年的所有 Spring Cloud 和 Dubbo 的版本，用户不用改一行代码就可以使用，不需要改变业务的现有架构，随时可上可下，没有绑定。只需开启 MSE 微服务治理专业版，在线配置，实时生效。

具备无损上下线能力，使得发布更加丝滑

应用开启 MSE 微服务治理后就具备无损上下线能力，大流量下的发布、回滚、扩容、缩容等场景，均能保证流量无损。

如何使用 MSE 全链路灰度

接下来将演示全链路灰度的能力，我们使用应用的架构由 Ingress-nginx 以及后端的微服务架构（Spring Cloud）来组成，后端调用链路有3跳，购物车（a），交易中心（b），库存中心（c），客户端通过客户端或者是 H5 页面来访问后端服务，他们通过 Nacos 注册中心做服务发现。

准备工作

开通 MSE 微服务治理专业版

登录 MSE 治理中心控制台，如果您尚未开通 MSE 微服务治理，请根据提示开通专业版。如果您已经开通了 MSE 微服务治理基础版，请根据概览页中右侧的提示，升级到专业版。

安装 Ingress-nginx 组件

登录容器服务控制台 [1] 。
在左侧导航栏选择市场 > 应用目录。
在应用目录页面搜索框中输入 ack-ingress-nginx，单击图标，然后单击组件。
在详情页面选择组件的命名空间为 kube-system，然后单击创建。安装完成后，在命名空间 kube-system 中出现 ack-ingress-nginx-default-controller 应用，表示安装成功。

部署 Demo 应用程序

将下面的文件保存到 ingress-gray-demo-deployment-set.yaml 中，并执行 kubectl apply -f ingress-gray-demo-deployment-set.yaml 以部署应用，这里我们将要部署 A, B, C 三个应用，每个应用分别部署一个基线版本和一个灰度版本。

# A 应用 base 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-a
  template:
    metadata:
      annotations:
        msePilotCreateAppName: spring-cloud-a
      labels:
        app: spring-cloud-a
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-a
        ports:
        - containerPort: 20001
        livenessProbe:
          tcpSocket:
            port: 20001
          initialDelaySeconds: 10
          periodSeconds: 30

# A 应用 gray 版本
---            
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a-new
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-a-new
  strategy:
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-a
      labels:
        app: spring-cloud-a-new
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-a-new
        ports:
        - containerPort: 20001
        livenessProbe:
          tcpSocket:
            port: 20001
          initialDelaySeconds: 10
          periodSeconds: 30

# B 应用 base 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-b
  strategy:
  template:
    metadata:
      annotations:
        msePilotCreateAppName: spring-cloud-b
      labels:
        app: spring-cloud-b
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-b
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20002
          initialDelaySeconds: 10
          periodSeconds: 30

# B 应用 gray 版本  
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b-new
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-b-new
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-b
      labels:
        app: spring-cloud-b-new
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-b-new
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20002
          initialDelaySeconds: 10
          periodSeconds: 30

# C 应用 base 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-c
  template:
    metadata:
      annotations:
        msePilotCreateAppName: spring-cloud-c
      labels:
        app: spring-cloud-c
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-c
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20003
          initialDelaySeconds: 10
          periodSeconds: 30

# C 应用 gray 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c-new
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-c-new
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-c
      labels:
        app: spring-cloud-c-new
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:0.1-SNAPSHOT
        imagePullPolicy: IfNotPresent
        name: spring-cloud-c-new
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20003
          initialDelaySeconds: 10
          periodSeconds: 30

# Nacos Server
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nacos-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nacos-server
  template:
    metadata:
      labels:
        app: nacos-server
    spec:
      containers:
      - env:
        - name: MODE
          value: standalone
        image: nacos/nacos-server:latest
        imagePullPolicy: Always
        name: nacos-server
      dnsPolicy: ClusterFirst
      restartPolicy: Always

# Nacos Server Service 配置
---
apiVersion: v1
kind: Service
metadata:
  name: nacos-server
spec:
  ports:
  - port: 8848
    protocol: TCP
    targetPort: 8848
  selector:
    app: nacos-server
  type: ClusterIP

针对入口应用 A ，配置两个 k8s service, spring-cloud-a-base 对应 A 的 base 版本，spring-cloud-a-gray 对应 A 的 gray 版本。

apiVersion: v1
kind: Service
metadata:
  name: spring-cloud-a-base
spec:
  ports:
    - name: http
      port: 20001
      protocol: TCP
      targetPort: 20001
  selector:
    app: spring-cloud-a

---
apiVersion: v1
kind: Service
metadata:
  name: spring-cloud-a-gray
spec:
  ports:
    - name: http
      port: 20001
      protocol: TCP
      targetPort: 20001
  selector:
    app: spring-cloud-a-new

快速构建全链路灰度能力

泳道为相同版本应用定义的一套隔离环境。只有满足了流控路由规则的请求流量才会路由到对应泳道里的打标应用。一个应用可以属于多个泳道，一个泳道可以包含多个应用，应用和泳道是多对多的关系。
泳道组：泳道的集合。泳道组的作用主要是为了区分不同团队或不同场景。

登录 MSE 治理中心控制台 [2] ，找到 微服务治理中心 > 全链路灰度

可以看到我们需要实现上述描述的能力，我们只需要两个步骤，创建泳道组与创建泳道

创建泳道组

点击创建泳道组按钮，并选择我们泳道组涉及到的后端微服务应用，按照上述 demo 来看就是 A, B, C 三个应用

创建泳道

在全链路灰度页面上方选择创建和泳道组时相同的微服务空间，然后底部单击点击创建第一个分流泳道。需要注意的是加入全链路流量控制的应用，将不再支持金丝雀发布、标签路由等功能。

按照产品的 Step 来，我们分别需要起一个泳道名称，配置应用标签，选择泳道关联的标签，去 ACK 控制台配置 Ingress 的路由规则。

创建完成的泳道

查看泳道，分别有两种模式

查看模式

可编辑模式

入口 Ingress 规则

配置入口的 Ingress 规则，访问 www.base.com 路由到 a 应用的 base 版本，访问 www.gray.com 路由到 a 应用的 gray 版本。

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: spring-cloud-a-base
spec:
  rules:
  - host: www.base.com
    http:
      paths:
      - backend:
          serviceName: spring-cloud-a-base
          servicePort: 20001
        path: /

---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: spring-cloud-a-gray
spec:
  rules:
  - host: www.gray.com
    http:
      paths:
      - backend:
          serviceName: spring-cloud-a-gray
          servicePort: 20001
        path: /

验证特征流量路由到目标应用

结果验证

访问 www.base.com 路由到基线环境

curl -H"Host:www.base.com" http://{ingress-ip}/a
A[172.18.144.155] -> B[172.18.144.120] -> C[172.18.144.79]%

此时，访问 www.gray.com 路由到灰度环境

curl -H"Host:www.gray.com" http://{ingress-ip}/a
Agray[172.18.144.160] -> Bgray[172.18.144.57] -> Cgray[172.18.144.157]%

查看打标应用的流量监控图。

在全链路灰度页面选择目标泳道组。在涉及应用中选择对应的应用，即可出现相应的流量视图

查看所有应用监控图。

除了查看单个应用的监控图监控图外，我们还可以查看泳道组内所有应用的监控图。通过比对分析所有应用的监控图，可以分析出更多有用信息。

可以看出同一时刻，调用的是哪些应用。
分析流量逃逸问题，判断逃逸对象。

总结

MSE 服务治理的全链路灰度产品化能力还在不断演进，目前我们支持了 MQ、RPC、可观测等，后续还会支持 XXL-JOB 等更多的场景，目前我们有如何在 MSE 上实现多语言微服务治理 [3] 、使用 Cloud Toolkit 实现微服务的端云互联 [4] 、基于 Ingress-nginx 网关实现全链路灰度 [5] 、基于 MSE 云原生网关实现全链路灰度 [6] 、基于自建 Spring Cloud Gateway 或 Zuul 网关实现全链路灰度 [7] 、基于消息队列 RocketMQ 版实现全链路灰度 [8] 、通过 Jenkins 构建 CI/CD 实现金丝雀发布 [9] 、微服务敏捷开发最佳实践 [10] 等全链路灰度相关的完整解决方案，随着用户场景与实践的增多，我们的解决方案还会不断迭代与丰富。

典型案例

来电科技

MSE 服务治理帮助我们系统以很低的成本无侵入的方式快速实现了全链路灰度能力，进一步提升了我们系统的稳定性，让我们新需求的迭代上线更加地安心。

-- 来电科技架构师汤长征

来电科技自 2014 年起开始进入共享充电领域，定义并开创了行业，属于行业内最早的共享充电企业。主要业务覆盖充电宝自助租赁、定制商场导航机开发、广告展示设备及广告传播等服务。来电科技拥有业内立体化产品线，大中小机柜以及桌面型，目前全国超过 90%的城市实现业务服务落地，注册用户超 2 亿人，实现全场景用户需求。

全链路灰度落地

来电的业务架构如下，最上层是移动端等用户界面，自建的 Nginx 网关作为接入层，服务层就是各种服务，使用的是 Spring Cloud 与 Dubbo 作为服务框架。

来电科技全链路灰度落地的架构如下：

在 Nginx 层配置流量分流的配置，10% 的流量进入灰度环境，90% 的流量进入未打标即线上正式环境，然后经过灰度环境的流量会自动被 MSE 染上对应环境的颜色，从而进行全链路的灰度路由，保证流量在灰度环境中闭环，如果没有灰度环境的机器，比如支付中心只有线上的机器，那么流量会走线上环境，当我们数据中心有存在灰度环境的机器，那么灰度流量还会重新回到数据中心的灰度环境中。

尾

MSE 的全链路灰度能力随着客户场景的深入而不断扩展与迭代，只有经过客户打磨的产品才会愈发历久弥新，欢迎大家尝鲜体验。

开发运维效率提升 80%，计算成本下降 50%，分众传媒的 Serverless 实践

作者：吴松本文总结于分众传媒研发总监吴松在阿里云云原生实战峰会上的分享，从三个方面讲述了对 Serverless 技术的探索。分众传媒的业务现状分众传媒的业务场景很简单，就是广告主买量，然后进行投放排期和统计，最后进行效果展示。业务场景前期要做广告设计、视频处理，后期还有一个广告投放、效果展示，可能会给客户提供各种各样的数据展示。分众传媒主要的业务形态有静态海报（市场占有率超过 73%），电梯屏幕 30 万块，覆盖 91% 中高档的写字楼。我们把云原生应用架构应用于手机 APP 和视频终端，而业务应用则有很多，比如员工接入、CRM、视频处理、图片识别、数据上报、数据分析、视频直播。其中，视频直播是新开发的业务，就是为了把直播视频实时推到分众传媒的屏端上。云服务则用到 SLB、MQDT、转码服务、IoT 等等。先说一下 IoT，我们现在所有屏端都是用的都是阿里云的 IoT 服务。这项服务带来的最大优势是屏端连通率大概可以保持在 95% 左右，这大大提升了团队工作效率。因为以前我们的屏端都是要人工去插卡上刊，现在接入 IoT 之后，我们的业务量从原来的 50% 提升到了现在的 9...

2022-02-24

467

“未来十年是 AI 的黄金十年”，业已成为各界共识。无论是硅谷巨头还是国内的华为、腾讯、阿里，都把 AI 视作开启下一个时代的钥匙。作为最为核心的 AI 技术之一，深度学习成为各企业进军 AI 领域的突破口。在经历了Caffe、Theano代表的浅层框架时代以及Tensorflow、PyTorch代表的通用框架时代，深度学习框架的发展，迎来了以MindSpore 为代表的全场景 AI 计算框架的新时代。 MindSpore 是华为推出的深度学习框架，具备统一的模型训练、推理和导出等接口，支持端、边、云等不同场景下的灵活部署。自2020 年 3 月正式开源以来，MindSpore 已经培育了一个十分活跃的技术社区，软件总下载量超130万，Star 数量超1.6万，PR数超5.16万。风口之上，如何将 AI 技术落地，才是关键。AI 落地，就是要摆脱概念化，就必须找到合适的场景。2021 年 9 月起，MindSpore 社区开展了“MindSpore 开源活动”，设计了很多基于实际场景需求的任务。比如，在做图像识别时，载入图片之后，往往需要对图片进行预处理，以保证图像符合预训练...

2022-02-24

467

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。