热门搜索:
您现在的位置是：首页 > 文章详情

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术

日期：2025-09-23点击：27

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术

此版本更新内容包括：

v0.4.1

核心特性

  • 稳定性压测与优化

支持模型列表

模型 硬件 精度类型 部署形态
DeepSeek-R1 A3 INT8 PD分离
DeepSeek-R1 A3 W4A8C16 PD分离
DeepSeek-R1 A3 BF16 PD分离
DeepSeek-R1 A2 INT8 PD分离
Qwen2.5-7B A3 INT8 混布（TP>=1 DP=1）
Qwen2.5-7B A2 INT8 混布（TP>=1 DP=1）
QwQ A3 BF16 PD分离
Qwen3-235B A3 INT8 PD分离
Kimi-K2 A3 W4A8C16 PD分离

安装包

硬件 架构 镜像文件 Tar包
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-arm:release_v0.4.1 omni_infer-a3-arm:v0.4.1
A3 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-x86:release_v0.4.1 omni_infer-a3-x86:v0.4.1
A2 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-arm:release_v0.4.1 omni_infer-a2-arm:v0.4.1
A2 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-x86:release_v0.4.1 omni_infer-a2-x86:v0.4.1

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.4.1

原文链接：https://www.oschina.net/news/373932/omni-infer-0-4-1-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章