【直播回顾】1024 守护者之夜：用可观测性点亮系统稳定（附PPT）

直播中，秦晓辉老师举了一个 Google SRE 的典型案例：以 28 天为周期，形成 SLO 的计算窗口，在这个窗口中，将上线的稳定性着以次之，从而凸显上线效率，以及创新性。一旦消耗完了错误预算，即便窗口还有剩余时间，比如还剩 3 天，也依旧不能上线了。

“通常现在各个公司都是微服务了，每一个服务都应该有自己的 SLI ，并且我们应该建立一个全局、可查的 SLI 指标查询分析系统。”简言之，虽然各个服务都有自己的仪表盘，但是少有企业将这些仪表盘统一在一起，那么就会缺少一个全局的视图，当出现问题的时候，运维人员其实很难定界哪里出了问题。

秦晓辉老师提及，可观测性中目前常用的指标有：

1. 梳理关键指标，如参考 USE、RED、Google 4 Gold Signals 等方法论

2. 业务北极星指标

3. 依赖的基础设施、第三方服务、第三方接口的指标

4. 上游流量的指标

5. 系统内部的一些业务逻辑指标，比如内存队列的长度

而在“日志”上，又有哪些关注点呢？秦晓辉老师提到了以下五个方面：建立中心化的日志平台，把分散日志收集到中心，方便查看日志流；日志统一打印成 JSON ，方便收集、ETL ；遵循 Cannonical log lines 或 Wide events 理念打印日志；各日志字段统一规范（比如统一名称及语义），统一 SDK ；最后，就是建立日志告警规则。

“可观测性，除了以上的几大支柱建设，其实最终还是需要下沉到对数据的分析这一层。”在数据分析层面，秦晓辉老师指出，建立了多套指标、日志、链路系统，有海量数据，但没有洞悉，那就没有什么意义。企业不仅需要建立各个维度的全局视图，建立“总-分”结构的下钻链路，同时也需要着眼于数据特性，而非炫酷的图表。并且，还需要将现有的数据串联起来，比如从日志跳转到链路追踪，最终根据日常故障排查路径组织数据，将经验沉淀到产品力，确保长远的稳定性。

“当然，后续也可以引入 AI ，自动根据人工运维这个路径进行周期性排查。”

相关推荐工具：https://flashcat.cloud/

关于故障应急与定界定位，武安闯老师介绍了三个方面：

• 故障发生：信息协同，人员协同

包括：自动建应急群、通告；SRE、RD、Oncall ，快捷入群；故障应急文案推送；业务自定义故障应急推送；电话升级等。

• 专家经验下钻定界

包括：上游影响面分析；可用区、应用下钻分析；错误 path 、 code 占比；Top 实例占比分析...

• AIOPS 初因推荐

包括：基于链路告警分析；基于变更快速定位变更诱因；基于链路指标分析、初因推荐

而预案平台需要解决哪些问题呢？武安闯老师指出：1、解决预案散落各地，内部文档、在线文档、平台类操作 2、预案可执行性 3、依赖特定执行人 4、和故障、根因分析割裂，预案推荐、联动、预案可观测性缺失。“所以，预案平台能力建设需要考虑以下四个方面：对接内部各个平台，提供通用预案原子能力建设；联动根因分析，预案推荐、执行；支持业务基于原子预案编排业务场景预案；自定义执行时间、灰度策略、预案执行报告推送等等”