热门搜索:
您现在的位置是：首页 > 文章详情

Omni-Infer v0.4.0 发布，超大规模 MoE 模型推理加速技术

日期：2025-09-06点击：2

Omni-Infer v0.4.0 已经发布，超大规模 MoE 模型推理加速技术。

v0.4.0

核心特性

  • 模型脚本重构，消除与框架的耦合，提升模型适配效率和代码可维护性
  • 支持xPyD（y<32）
  • PD分离场景P&D支持独立TP+DP+EP
  • 全局绑核优化

支持模型列表

模型 硬件 精度类型 部署形态
DeepSeek-R1 A3 INT8 PD分离
DeepSeek-V3 A3 W4A8C16 PD分离
DeepSeek-R1 A3 BF16 PD分离
DeepSeek-R1 A2 INT8 PD分离
Qwen2.5-7B A3 INT8 混布（TP>=1 DP=1）
Qwen2.5-7B A2 INT8 混布（TP>=1 DP=1）
QwQ-32B A3 BF16 PD分离
Qwen3-235B A3 INT8 PD分离
Kimi-K2 A3 W4A8C16 PD分离

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.4.0

原文链接：https://www.oschina.net/news/370637
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章