用 eBPF 给 AI 推理服务做"CT":从系统调用到 GPU 瓶颈的全链路追踪
这篇文章的起因是一个真实的线上故障。团队部署了一个 vLLM 推理服务,模型是 Llama 3 70B,8卡 A100。压测时 QPS 还行,但上线后 P99 延迟时不时飙到 3 秒以上,而且毫无规律——同一批请求,有时候 200ms 返回,有时候 3 秒返回。团队用 nvidia-smi 看了 GPU 利用率,正常;用 PyTorch Profiler 看了模型内部,正常;看了应用层日志,也正常。最后用 eBPF 在内核态挂了几个探针,15 分钟就定位到了问题——NVLink 的某个通道间歇性丢包,导致 NCCL AllReduce 偶发卡顿,而 nvidia-smi 根本看不到这个层级的细...