Omni-Infer v0.7.0 已经发布,超大规模 MoE 模型推理加速技术
Omni-Infer v0.7.0 已经发布,超大规模 MoE 模型推理加速技术。 v0.7.0 核心特性 Omni Cache支持MLA/GQA chunk prefill混部入图 支持SGLang 其它优化 基于2P8-1D32@A3,平均3.5K+1K,Deepseek R1性能达到QPM186,TTFT<2s,TPOT<20ms 基于2P2-1D4@A3,2K+2K,openPangu-72B单卡Decode峰值性能达到1560 TPS,TPOT<30ms 支持模型列表 模型 硬件 精度类型 部署形态 openPangu-Ultra-MoE-718B A3 INT8 PD分离 openPangu-Ultra-MoE-718B A2 INT8 PD分离 openPangu-72B A3 INT8 PD分离 openPangu-38B A3 INT8 混布 openPangu-38B A2 INT8 混布 openPangu-7B A3 BF16 混布 openPangu-7B A2 BF16 混布 openPangu-7BVL A3 BF16 混布 DeepSe...