首页 文章 精选 留言 我的

精选列表

搜索[OS Agent],共10000篇文章
优秀的个人博客,低调大师

从PagerDuty到自愈Agent——ServerGuard的告警驱动架构设计

2026年,SRE领域正在经历一次范式转换:从“人类半夜爬起来修服务器”到“系统自己判断、自己修复”-26。但市面上大多数自愈工具要么绑定K8s生态,要么只停留在“自动重启”的粗粒度层面。 ServerGuard想做的事更朴素:让一台普通的Linux服务器,在没有人盯着的情况下,自己把自己管好。 这篇文章不讲故事,只讲架构和设计取舍。 一、核心问题:告警驱动的“救火循环” 传统监控工具的架构是: Collector → RuleEngine → Notifier → 人 问题在于,人是最慢的一环。磁盘从95%到100%可能只有几分钟,而人从被叫醒到连上服务器,至少5-10分钟。这中间的窗口期,就是事故发生的窗口期。 ServerGuard把架构改了: Collector → RuleEngine → Decider → Executor → Notifier ↓ SafetyLayer 核心变化: 在RuleEngine和Notifier之间,插入了Decider和Executor。规则匹配之后不是发通知等人处理,而是先过安全决策层,能自动处理的直接执行。 二、告警收敛:滑动窗口计数 告警收敛是自愈系统的前置条件——如果告警本身就把人淹没了,后面的自愈逻辑根本没人看。 ServerGuard的收敛逻辑分两层: 第一层:抖动抑制。 同一条告警10分钟内重复触发3次,自动静默10分钟。 type AlertThrottle struct { key string // 告警唯一标识,如 "disk_/dev/sda1" count int firstAt time.Time silenced bool until time.Time } func (t *AlertThrottle) ShouldSend() bool { if t.silenced && time.Now().Before(t.until) { return false } if time.Since(t.firstAt) > 10*time.Minute { t.count = 0 t.firstAt = time.Now() } t.count++ if t.count >= 3 { t.silenced = true t.until = time.Now().Add(10 * time.Minute) return true } return true } 第二层:同源合并。 同一个IP在5分钟窗口内触发多种告警,合并成一条事件摘要。 type AggregationKey struct { IP string TimeSlot int64 // 5分钟时间片 } 两层逻辑加起来不到80行。没有机器学习,没有大模型,一个计数器加一个时间窗口。 实测效果:告警从每天47条降到8条,所有原始告警一条没丢,全部落库,面板可查。 三、磁盘写满预测:最小二乘法的工程落地 对近14天的磁盘使用率做线性回归。为什么是14天?7天太短,周末数据干扰大;30天太长,历史噪声多。14天覆盖两个完整周,趋势稳定。 预测公式: 斜率 k = Σ[(xᵢ - x̄)(yᵢ - ȳ)] / Σ[(xᵢ - x̄)²] 截距 b = ȳ - k × x̄ 预测第n天 = k × n + b 关键在过滤。 三条校验全过才输出: R² ≥ 0.6(趋势足够像直线) 斜率必须为正(在涨才预测) 标准差 ≤ 15%(每天涨幅稳定) 回测数据:第1天预测误差约5天,第15天误差缩到1天。越临近越准。 代码位置:internal/forecast/disk.go,不到300行 Go 代码,零外部依赖。 四、与Zabbix/Prometheus的关系 一个常见问题:ServerGuard和Zabbix/Prometheus冲突吗? 不冲突,反而互补。 Zabbix和Prometheus解决的是“告诉我发生了什么”——数据采集、指标存储、可视化面板。Zabbix是All-in-one的传统方案,Prometheus是云原生生态的时序数据库-53。 ServerGuard解决的是另一个问题: “我知道发生了,然后呢?” 能力 Zabbix/Prometheus ServerGuard 指标采集与存储 ✅ 专业 基础采集 可视化面板 ✅ Grafana/Zabbix UI 内置轻量面板 告警通知 ✅ 丰富路由 全渠道推送 自动修复 ❌ ✅ 安全约束 ❌ ✅ 五层机制 实操建议:Zabbix/Prometheus负责监控大盘,ServerGuard负责自动修复。Prometheus的Alertmanager推送到ServerGuard的Webhook,ServerGuard收到后触发自愈流程。 如果已经部署了Prometheus,ServerGuard还提供GET /metrics标准Prometheus格式输出,可直接接入Grafana大盘。 五、总结 ServerGuard的架构核心就一句话:把“人处理告警”这一步,用安全约束下的自动决策替代掉。 技术栈:Go 1.25+,gopsutil v3,Gin,SQLite,纯Go YARA。单二进制16MB,零运行时依赖。 项目地址: GitHub:suoten/ServerGuard Gitee:suoten/ServerGuard

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码