荒天帝炼大模型网关-第16境-仙王境-草字剑诀-可观测斩链
我是老李。手上这套东西的起点,是 litellmgateway 仓库 open-api.zip 里的那个 Demo:一个 Controller 收下 ChatCompletion 请求,转手打给一个上游,返回 JSON 或者 SSE。前面十几境我们没造新骨架,就在这个 Demo 上换包名、长本体,一路加了 Provider 适配、LogicalModel/Deployment 分层、路由决策、重试兜底、熔断恢复、VirtualKey 与限流预算、Usage/Cost 计量,最后还搭了个中文控制台。任务是:让任何一条失败请求,都能在十秒内说清它死在 Pipeline 的哪一个阶段。