Volcano 社区发布 Kthena 子项目
Volcano 是 CNCF 首个云原生智能调度引擎，由华为云发起开源并深度参与贡献。12月29日，Volcano 宣布社区迎来了一个新的子项目 Kthena！ Kthena 是一个专为 Kubernetes 设计的云原生、高性能的 LLM 推理路由和编排、调度系统。它旨在解决在生产环境中大规模编排、部署和服务 LLM 所面临的核心挑战，通过其独特的 超节点拓扑感知的亲和性调度，KV Cache 感知的流量调度、Prefill/Decode 分离路由等高级功能，显著提升 GPU/NPU 资源利用率和吞吐，降低推理延迟，并赋予企业前所未有的灵活性和控制力。作为 Volcano 的子项目，Kthena将致力于帮助 Volcano 扩展除 AI 训练之外的边界，打造训推一体的完整解决方案。 LLM 服务化的“最后一公里”困境 大语言模型（LLM）正在以前所未有的速度重塑各行各业，但将其高效、经济地部署在生产环境中，特别是基于 Kubernetes 的云原生平台上，仍然困难重重。开发者们普遍面临以下挑战： 资源利用率低：LLM 推理，尤其是其独特的 KV Cache 机制，对 GPU、NPU ...
