Chaos Mesh + SkyWalking，打造可观测的混沌工程-低调大师

Chaos Mesh + SkyWalking，打造可观测的混沌工程

2021-11-30 451

Chaos Mesh 是一个开源的云原生混沌工程平台，借助 Chaos Mesh，用户可以很方便地对服务注入异常故障，并配合 Chaos Dashboard 实现对整个混沌实验运行状况的监测 。然而，对混沌实验运行情况的监控并不能告诉我们应用服务性能的变化。从系统可观测性的角度来说，我们可能无法单纯通过混沌实验的动态了解故障的全貌，这也阻碍了我们对系统和故障的进一步了解，调试。

Apache SkyWalking 是一个开源的 APM (Application Performance Monitor) 系统，可以对云原生服务提供监控、跟踪、诊断等功能。SkyWalking 支持收集 Event（事件），可在 Dashboard 中查看分布式系统中发生了哪些事件，并可以直观地观测到不同 Event 对服务性能造成的影响，和 Chaos Mesh 结合使用，便可为混沌实验造成的服务影响提供监控。

本教程将分享如何通过将 SkyWalking 和 Chaos Mesh 结合，运用 Event 信息监控，实时了解混沌实验对应用服务性能造成的影响。

准备工作

创建 Skywalking 集群，具体可以参考 SkyWalking Readme。
部署 Chaos Mesh，推荐使用 helm 安装。
安装 Java 测试工具 JMeter （其他工具亦可，仅用于增加服务负载）。
如果仅作为 Demo 使用，可以参考 chaos-mesh-on-skywalking 这个仓库进行配置。

Step 1

访问 SkyWalking 集群

安装 SkyWalking 后，就可以访问它的 UI 了，但因为还没有服务进行监控，这里还需要添加服务并进行 Agent 埋点设置。本文选用轻量级微服务框架 Spring Boot 作为埋点对象搭建一个简易 Demo 环境。

可以参考 chaos-mesh-on-skywalking 仓库中的 demo-deployment.yaml 文件创建。之后使用kubectl apply -f demo-deployment.yaml -n skywalking
进行部署。部署成功后即可在 SkyWalking-UI 中看到实时监控的服务信息。

注意：因为 Spring Boot 的端口也是 8080，在端口转发时要避免和 SkyWalking 的端口冲突，比如使用kubectl port-forward svc/spring-boot-skywalking-demo 8079:8080 -n skywalking。

Step 2

部署 SkyWalking Kubernetes Event Exporter

SkyWalking Kubernetes Event Exporter 可以用来监控和过滤 Kubernetes 集群中的 Event ，通过设置过滤条件筛选出需要的 Event，并将这些 Event 发送到 SkyWalking 后台，这样就可以通过 SkyWalking 观察到你的 Kubernetes 集群中的Event 何时影响到服务的各项指标了。如果想要一条命令部署，可以参考此配置创建 yaml 文件，设置 filters 和 exporters 的参数后，使用kubectl apply
进行部署。

Step 3

使用 JMeter 对服务加压

为了达到更好的观察效果，需要先对 Spring Boot 增加服务负载，本文选择使用 JMeter 这一使用广泛的 Java 压力测试工具来对服务加压。

通过 JMeter 对localhost:8079
进行压测，添加 5 个线程持续进行加压。

通过 SkyWalking Dashboard 可以看到，目前访问成功率为 100%，服务负载大约在 5300 CPM (Calls Per Minute）。

Step 4

Chaos Mesh 注入故障，观察效果

做好了这些准备工作便可以使用 Chaos Dashboard 进行压力场景模拟，并在实验进程中观察服务性能的变化。

以下使用不同 Stress Chaos 配置，观测对应服务性能变化：

CPU 负载 10%，内存负载 128 MB 。

混沌实验开始和结束的时间点标记可以通过右侧开关显示在在图表中，将鼠标移至短线处可以看到是实验的 Applied 或 Recovered。可以看到两个绿色短线之间的时间段里，服务处理调用的的性能降低，为 4929 CPM，在实验结束后，性能恢复正常。

CPU load 增加到 50%，发现服务负载进一步降低至 4307 CPM。

极端情况下 CPU 负载达到 100%，服务负载降至无混沌实验时的 40% 。

因为 Linux 系统下的进程调度并不会让某个进程一直占据 CPU，所以即使是在 CPU 满载的极端情况下，该部署的 Spring Boot Demo 仍可以处理 40% 的访问请求。

小结

通过 SkyWalking 与 Chaos Mesh 的结合，我们可以清晰的观察到服务在何时受到混沌实验的影响，在注入混沌后服务的表现性能又将如何。SkyWalking 与 Chaos Mesh 的结合使得我们轻松地观察到了服务在各种极端情况下的表现，增强了我们对服务的信心。

Chaos Mesh 在 2021 年成长了许多。为了更多地了解用户在实践混沌工程方面的经验，以便持续完善和提升对用户的支持，社区发起了 Chaos Mesh 用户问卷调查，扫描下方二维码即可参与调查，谢谢！

欢迎大家加入 Chaos Mesh 社区，加入 CNCF Slack (slack.cncf.io) 底下的 Chaos Mesh 频道: project-chaos-mesh，一起参与到项目的讨论与开发中来！大家在使用过程发现 Bug 或缺失什么功能，也可以直接在 GitHub (https://github.com/chaos-mesh) 上提 Issue 或 PR。

微信关注我们

原文链接：https://my.oschina.net/zhaiyuan/blog/5334325

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

建立合格的跨职能团队，你需要知道这些！

在传统组织中有多个部门，它们专门负责特定职能——营销、财务、人力资源、运营等。很多时候，这些部门各自为政，只有在涉及多个部门时才会共享信息。不过，构建和交付软件的现代需求需要能够高速解决大量问题。随之而来的是需要有一个完整的团队来反映提供解决方案的各种专业知识，这就是跨职能团队的用武之地。什么是跨职能团队？跨职能团队是一群来自不同领域的人聚在一起，用他们各自独有的能力来实现一个共同的目标。跨职能团队不仅是横向的各种职能专业知识的碰撞，也是纵向的自上而下的结构比对。由团队成员和主要决策者组成的跨职能团队并不少见。跨职能团队对于实践 DevOps 方法的组织尤其有用。其价值可以通过多种方式体现出来：跨职能团队有助于减少关键决策的官僚作风。这里的目标是在需要快速做出决策时有必要的表示。这使得跨职能团队非常适合 DevOps，其中敏捷思维是实现更快迭代和提高结果质量的关键。跨职能团队还可以提高解决问题的能力。在DevOps方法中，质量和总体客户价值非常重要，因此出现的任何问题都需要有最佳的解决方案。跨职能团队拥有跨职能专业知识的各种人员，每个成员都可以提出不同的想法。例如，当讨论如何...

2021-11-30

471

摘要：随着数字化、信息化、网络化和智能化的普及和发展，企业对软件服务的质量和上线速度要求越来越高。传统研发模式难以满足要求，企业的开发运维模式逐渐向敏捷和DevOps 转型，敏捷和DevOps理念正被广泛认可并加速落地实践。本文分享自华为云社区《一文读懂敏捷开发的发布策略》，作者：敏捷的小智。随着数字化、信息化、网络化和智能化的普及和发展，企业对软件服务的质量和上线速度要求越来越高。传统研发模式难以满足要求，企业的开发运维模式逐渐向敏捷和DevOps 转型，敏捷和DevOps理念正被广泛认可并加速落地实践。本文主要阐述基于敏捷和DevOps的发布策略相关内容。什么是发布策略发布策略是不是发布方案、发布计划、发布方法？我们常听到的蓝绿发布、滚动发布、灰度发布是不是就是发布策略呢？下面我们就一起看一下。发布关于“发布”的含义，我们先看下它在整个软件开发生命周期中的位置，如图所示，发布是软件开发全生命周期中的最后一环，直接面向最终用户。图1 软件研发流程为了更好的理解交付，我们将各个环节逐一来看一下。 • 持续集成是开发人员提交了新代码之后，就对整个应用进行构建，目的是让正在...

2021-11-30

441

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。