京东开源基于国产芯片自研的 xLLM 大模型推理引擎

京东宣布开源基于国产芯片自研的一款大模型推理引擎 xLLM，能让企业部署AI应用时，性能更高、成本更低。

此次开源的核心功能包括：

• 基于请求优先级的动态调度器；
• 动态自适应的 PD 分离架构，可根据负载实时调整PD实例的比例；
• 面向多模态场景的 EPD 混合分离调度器；
• 基于硬件特性的多级流水线的执行引擎；
• 涵盖图融合、投机推理、动态负载均衡的计算优化套件；
• 基于Mooncake的多级 KV 缓存的全局管理；

公告称，xLLM大模型推理引擎源自京东零售核心业务。目前，该技术服务了京东AI助手京言、智能客服、风控、供应链助手、广告等场景，效率提升5倍以上，机器成本降低90%。

“我们始终坚信，AI Infra生态建设离不开每一位开发者。开源，只是第一步。接下来，京东零售AI Infra团队会根据社区需求，继续开放更多高级能力，并和清华、北大、中科大、北航等产学研生态伙伴一起，推动国产AI Infra技术生态的协同创新，推动行业智能化升级。”