首页 文章 精选 留言 我的

精选列表

搜索[WorkBuddy],共4375篇文章
优秀的个人博客,低调大师

用 WorkBuddy 修好了刷屏 55 次的告警机器人

## 场景 那天晚上我盯着企业微信的告警群,同 1 条消息又跳了出来,标题里明明白白写着"第 55 次升级"。 比"告警太多"更让人麻木的,是它前后自相矛盾:消息上半截的状态行写着"当前状态:无需办理",下半截却 @ 我"请尽快办理该指令"。 我到底是办,还是不办? 后来花了半个下午才想明白:**不是服务器抽风,是我的看门狗脚本自己写错了 2 处。** ## 1. 元凶一:销项判断漏了 1 种情况 脚本要扫"指令箱"里的待办,判定 1 条指令算不算处理完,我当时只认 2 种状态:**已办理**、**已回执**。 但实际业务里还有第 3 种:**无需办理**。 前阵子我让工程师做端到端联调,往指令箱里塞了 2 条自测条目,状态写的是"工程师 E2E 测试条(验证用,无需办理)"。在脚本眼里,这 2 条既不是"已办理"、也不是"已回执",**于是被当成 2 条永远没办的活儿**,每轮扫描都捞出来报 1 次。 当天下来,升级计数从 1 涨到 55。 修法是给判断补上这一类: ```python # 改前:只认这 2 种 if ("已办理" in e["status"]) or ("已回执" in e["status"]): continue # 改后:补上"无需办理",并顺手挡掉测试类条目 if ("已办理" in e["status"]) or ("已回执" in e["status"]) \ or ("无需办理" in e["status"]) or ("测试" in e["status"]) or ("E2E" in e["status"]): continue ``` ## 2. 元凶二:结尾那句话是写死的 第 2 个毛病更隐蔽。我把报警消息的结尾写成了一句固定的话: ```python "> 请尽快办理该指令" ``` **不管上面状态写的是什么,这句话都会出现。** 于是就有了那个让人血压高的画面:状态栏白纸黑字写着"无需办理",下面却 @ 我"请尽快办理"。 这不是数据问题,是**文案写死了**。 修法是让结尾跟着状态走,顺便把告警分级。以前所有告警一律挂 1 个"🔔",现在按路口红绿灯的思路分档: - **⚠️ 重要(黄)**:第 1 次提醒,抽空处理就行,不用慌 - **🔴 紧急(红)**:持续未销项、已经多次提醒了,请马上点一下 文案也从"请尽快办理该指令"这种公文腔,换成大白话: ```python if escalated: tier = "🔴【紧急·请马上处理】" footer = "> 这条指令挂了很久还没处理,抽空赶紧点一下,别再拖了。" else: tier = "⚠️【重要·请抽空处理】" footer = "> 这条指令你还没处理,有空回一下就行,不用慌。" ``` ## 3. 怎么验收(别信"应该好了") 改完最怕自我感觉良好。我的验收是 4 件套,1 件都不能少: 1. **文件指纹**:md5 和字节数必须变。改前 `fa4e7000…` / 40524 字节 → 改后 `fe07e44f…` / 41335 字节 2. **老字符串必须消失**:`grep "请尽快办理该指令"` 命中 0 处;`grep "🔴【紧急"` 必须有输出 3. **跑自测**:脚本带 `--test` 模式,直接输出"超15分钟待办=N"。改完是 **0** 4. **服务真的生效**:`systemctl is-active` 返回 `active`。因为改完文件不重启,跑的还是老逻辑 还有一步别忘:把之前误报累计出来的 **55 次**脏计数清零。不清的话,下次真告警会从"第 56 次"开始报。 ## 4. 顺手修的另 1 个坑:定时任务在空转 这天还发现另 1 个毛病:我有个每天凌晨跑的"共享桶巡检"任务,连续好几天啥也没干。 原因是它第一步就写死了一句:"如果加载不到 IMA 连接器,就直接结束"。**而这个自动化自己的会话本来就没挂 IMA**,所以它每天 4 点 20 分准时启动、准时走"结束"分支、啥也没干。 修法是把它从"IMA 强依赖"改成"本地优先":本地目录是本体,IMA 和对话检索只是锦上添花,挂不上就跳过,**绝不空转、绝不因为 1 个外部依赖缺失就整条链路躺平**。 ## 5. 效果对比 | 维度 | 改之前 | 改之后 | | --- | --- | --- | | 同一告警累计上报 | 55 次 | 0 次 | | "无需办理"却催我办理 | 存在 | 已消除 | | 告警分级 | 无分级,一律"🔔" | ⚠️ 重要 / 🔴 紧急 | | 文案风格 | 公文腔 | 大白话 | | 定时任务空转 | 连续多日 | 改本地优先,不再空转 | | 自测"超15分钟待办" | 2 | 0 | ## 6. 几点心得 告警的价值从来不在"报得多",而在"报得准"。 1 个会自相矛盾的告警系统,比没有告警更糟——因为人会开始无意识地忽略它,等到真出事那天,@ 我也不会看了。 **把误报清零,比把功能做多更重要。** 报警是个会说话的系统,它说的每一句话都得经得起对照。 ## 7. 结尾 以上是这次排查的全过程,配置、命令和验证输出都是原样,敏感信息已做脱敏处理。 本文为原创实战记录,欢迎交流指正。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册