混沌演练实践（二）-支付加挂链路演练 | 京东云技术团队-低调大师

混沌演练实践（二）-支付加挂链路演练 | 京东云技术团队

2023-05-24 463

1. 背景

当前微服务架构下，各个服务间依赖高，调用关系复杂，业务场景很少可以通过一个系统来实现，常见的业务场景实现基本涉及多个上下游系统，要保证整体链路的稳定性，需要尽量减少系统之间的耦合性，避免因为单点失效引起整个链路的故障。

2. 目标

通过混沌演练验证链路中部分系统发生故障时候的整体链路的表现，对链路保持正常运作的能力进行校验和评估,提前识别未知隐患并进行修复,进而保障整个链路更好地抵御生产环境中的失控条件,提升整体场景功能的稳定性。

3. 演练链路

对真实的业务场景进行混沌演练，就需要对业务场景的相关服务和调用关系进行链路梳理，一般需要根据实际业务场景，画出系统交互图，通过链路串联、数据追踪、和上下游确认等方式整理链路图。

4. 演练计划

混沌演练之前，一定要好可行性评估，评估可以演练的服务部署环境、演练工具的成熟度、演练场景的爆炸半径等，然后决策演练场景，进行实践操作。

5. 内容加载演练实践

5.1 链路梳理

内容加载链路演练，通过内容加载的系统交互梳理出加载链路：摹略引擎执行-AB分流-CMS资源获取-鹰眼内容发送

5.2 接口梳理

根据调链路调用关系用梳理出具体的接口：

5.3 制定演练计划

演练时间：2023.03.28 14:00-22:00

演练攻击人员：孙X英、陈X然；演练防守人员：张X雷、付X军、刘X、韩X

针对链路接口设计演练场景，一般根据系统特色来设计更容易发生的故障，比如应用偏计算比较消耗CPU的话，故障设计包含CPU满载，应用对于响应的时效有严格的要求的话一般包含方法延迟故障设计。

本次链路故障场景设计如下：

具体演练场景设计可参考：混沌实战演练（一）

5.4 演练执行

目前借助天权自动化运维平台进行混沌攻防演练，进入工具市场—演练类，选择不同的故障方案，点击“立即执行”；

如选择Java进程满载场景演练，选择满载率100%，满载核数为演练应用部署服务的CPU核数，演练时长是执行满载的持续时间，选择演练的具体应用和指定IP，执行演练计划。

演练示例，根据演练的场景配置好故障参数，如下图为精准触达系统-消息触达方法延迟增加30ms参数设定：

演练执行结果检查，下图为分流服务-JAVA进程满载，指定分流进程CPU满载，故障执行结果：

5.5 演练监控

使用监控工具实时收集服务器在混沌演练运行期间的性能状态，如系统层面的 CPU、内存等使用情况，观察方法的响应时间、成功率等指标，一方面验证在混沌场景执行期间系统状态是否达到预期的效果，同时记录演练期间发生的问题，记录现场，另一方面通过监控发现有风险问题进行人工干预，立刻终止演练。

场景一：精准触达系统-消息触达方法延迟增加30ms

演练监控方法执行的成功率和 TP 999：

场景二：分流服务-JAVA进程满载，指定分流进程CPU满载

监控平台实时观测系统的CPU使用率：

5.6 演练反馈

检查系统故障发生时候监控手段是否完善，研发人员是否可以根据系统告警，快速的定位并解决问题。检查团队的响应、协同效率。

邮件事故告警：

事故恢复告警：

5.7 环境恢复

场景演练可等待演练时长结束后自行中止，也可根据手工取消、终止演练场景。

演练完成后建议需要重启容器，保证服务恢复正常状态。

5.8 演练复盘

演练结束之后，我们需要对演练进行复盘。不同的故障下，系统的表现以及整体业务场景所受到的影响，演练过程中所发现的问题，需要在复盘报告中呈现出来。

6.总结

链路演练通过提前主动注入故障，发现系统之间的强弱依赖，对链路进行检验，降低生产环境中故障发生的概率。

“居安思危，思则有备，有备无患。”

作者：京东科技孙民英

内容来源：京东云开发者社区

微信关注我们

原文链接：https://my.oschina.net/u/4090830/blog/8900153

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elasticsearch与Clickhouse数据存储对比 | 京东云技术团队

1 背景京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次分页导出导致宕机、存储成本较高。 Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库天然适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行引擎技术大幅缩减计算耗时。所以做此对比，进行Elasticsearch切换至Clickhouse工作。 2 OLAP OLAP意思是On-Line Analytical Processing 联机分析处理，Clickhouse就是典型的OLAP联机分析型数据库管理系统(DBMS)。OLAP主要针对数据进行复杂分析汇总操作，比如我们业务系统每天都对当天所有运输团单做汇总统计，计算出每个省区的妥投率，这个操作就属于OLAP类数据处理。与OLAP类似的还有一个OLTP类数据处理，意思是On-Line Transaction Proc...

2023-05-24

481

简介 key是widget、element和semanticsNode的唯一标识，同一个parent下的所有element的key不能重复，但是在特定条件下可以在不同parent下使用相同的key，比如page1和page2都可以使用ValueKey(1) 。常用key的UML关系图如上，整体上key分为两大类-LocalKey和GlobalKey，这两个key都是抽象类，LocalKey的实现类有 ValueKey、ObjectKey和UniqueKey，GlobalKey实现类有LabeledGlobalKey和GlobalObjectKey。 Key @immutable abstract class Key { const factory Key(String value) = ValueKey<String>; @protected const Key.empty(); } Key是所有key的基类，内部实现了一个工厂构造函数，默认创建String类型的ValueKey。内部还是先了一个empty的构造函数，主要是给子类用的。 LocalKe...

2023-05-24

271

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。