Omni-Infer v0.8.0 已经发布,超大规模 MoE 模型推理加速技术
Omni-Infer v0.8.0 已经发布,超大规模 MoE 模型推理加速技术。 v0.8.0 核心特性 *Pangu72B支持RL训练 支持模型列表 模型 硬件 精度类型 部署形态 openPangu-Ultra-MoE-718B A3 INT8 PD分离 openPangu-Ultra-MoE-718B A2 INT8 PD分离 openPangu-72B A3 INT8 PD分离 openPangu-38B A3 INT8 混布 openPangu-38B A2 INT8 混布 openPangu-7B A3 BF16 混布 openPangu-7B A2 BF16 混布 openPangu-7BVL A3 BF16 混布 DeepSeek-R1 A3 INT8 PD分离 DeepSeek-R1 A3 W4A8C16 PD分离 DeepSeek-R1 A3 BF16 PD分离 DeepSeek-R1 A2 INT8 PD分离 DeepSeek-V3.1 A3 INT8 PD分离 DeepSeek-V3.2 A3 INT8 PD分离 DeepSeek-OCR A2 BF16 混布...