混沌演练状态下，如何降低应用的MTTR（平均恢复时间） | 京东云技术团队
在企业业务领域，锦礼是针对福利、营销、激励等员工采购场景的一站式解决方案，包含面向员工、会员等弹性激励SAAS平台。由于其直接面向公司全体员工，其服务的高可用尤其重要，本文将介绍锦礼商城大促前夕，通过混沌工程实战演习，降低应用的MTTR。 MTTR（平均恢复时间）是从产品或系统故障中恢复所需的平均时间。 这包括整个中断时间——从系统或产品出现故障到其恢复完全运行为止。 如何在混沌演练的场景中降低应用的MTTR，必须需要根据监控定位，然后人工进行反馈进行处理吗？是否可以自动化，是否有方案可以降低混沌演练过程中的影响？以此达到快速止血，进一步提高系统的稳定性。 本篇文章将根据一些思考和实践来解答以上问题。 故障无处不在，而且无法避免。 我们将从宿主机重启问题以及底层服务混沌演练的排查与举措说起。 背景 【客户端视角】：出现大量接口（包括提单）超时报错、可用率跳点，部分客户命中，产生客诉。 通过定位发现大促备战前期宿主机重启及底层服务混沌演练原因，较长时间影响我侧系统可用率及性能。尤其是核心接口的部署应用，会大范围的影响到多个接口的可用率，进一步影响采购端客户的体验问题。 特别在TOB领域，...
