Omni-Infer v0.6.0 已经发布，超大规模 MoE 模型推理加速技术

2025-11-11 5

Omni-Infer v0.6.0 已经发布，超大规模 MoE 模型推理加速技术。

v0.6.0

核心特性

Omni Proxy
Omni Cache支持DSA
Omni Placement支持A2

其它优化

基于7P8-1D32@A3，平均3.5K+1K，Deepseek R1性能达到QPM600，TTFT<2s，TPOT<50ms
基于18P8-1D144@A3，2K+2K，openPangu-718B单卡Decode峰值性能达到2400 TPS，TPOT<50ms

支持模型列表

模型	硬件	精度类型	部署形态
openPangu-Ultra-MoE-718B	A3	INT8	PD分离
openPangu-Ultra-MoE-718B	A2	INT8	PD分离
openPangu-38B	A3	INT8	混布
openPangu-38B	A2	INT8	混布
openPangu-7B	A3	BF16	混布
openPangu-7B	A2	BF16	混布
DeepSeek-R1	A3	INT8	PD分离
DeepSeek-R1	A3	W4A8C16	PD分离
DeepSeek-R1	A3	BF16	PD分离
DeepSeek-R1	A2	INT8	PD分离
DeepSeek-V3.1	A3	INT8	PD分离
DeepSeek-V3.2	A3	INT8	PD分离
Qwen2.5-7B	A3	INT8	混布（TP>=1 DP=1）
Qwen2.5-7B	A2	INT8	混布（TP>=1 DP=1）
QwQ	A3	BF16	PD分离
QwQ	A2	BF16	PD分离
Qwen3-235B	A3	INT8	PD分离
Qwen3-32B	A3	BF16	PD分离
Qwen3-30B	A3	BF16	PD分离
Kimi-K2	A3	W4A8C16	PD分离
Longcat-flash	A3	BF16	PD分离
Ling-1T	A3	BF16	PD分离

安装包

硬件	架构	镜像文件	Tar包
A3	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-arm:release_v0.6.0-20251111-vllm	omni_infer-a3-arm:v0.6.0_vllm
A3	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-x86:release_v0.6.0-20251111-vllm	omni_infer-a3-x86:v0.6.0_vllm
A2	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-arm:release_v0.6.0-20251111-vllm	omni_infer-a2-arm:v0.6.0_vllm
A2	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-x86:release_v0.6.0-20251111-vllm	omni_infer-a2-x86:v0.6.0_vllm

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.6.0

微信关注我们

原文链接：https://www.oschina.net/news/383026

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

被微信限制分享链接，腾讯元宝回应

微信对元宝的分享动作做出了处置，限制其在微信内直接打开。微信安全中心发布公告称，近期发布了《针对第三方违规行为的打击公告》，对以春节为主题集中爆发的过度营销、诱导分享等违规行为进行打击。 “在此背景下，我们收到用户针对元宝的反馈和投诉，其相关春节营销活动存在通过“做任务”“领红包”等方式诱导用户高频分享链接到微信群等场景，干扰平台生态秩序、影响用户体验、对用户造成骚扰。” 根据《微信外部链接内容管理规范》 2.1.2 通过利益诱惑，诱导用户分享以及传播外链的，包括但不限于：以金钱奖励、实物奖品、虚拟奖品等（包括但不限于红包、优惠券、代金券、积分、话费、流量、信息）诱导用户分享；声称分享可增加抽奖机会、中奖概率、成功可能；通过签到打卡、邀请好友协助（包括但不限于助力、砍价、加速）、设置收集任务（包括但不限于集赞、集卡、集福、集碎片）等形式诱导用户分享以及传播外链的，属于诱导分享违规。经研判，对元宝的违规链接进行处置，限制其在微信内直接打开。相关处置措施即日生效。 ...

2026-02-04

6

文字记录存档和追剧进度管理器 end 已经发布此版本更新内容包括：本地-文字记录存档系统;不支持图片；优化导入功能，添加记录修改功能介绍本地：文字记录存档可导出/导入txt文件注意：清除浏览器数据前先导出记录到本地记录的数据默认存储于浏览器内部数据清除浏览器"Cookie和其他网站数据"会丢失数据手机端导出功能可能受限，取决于浏览器功能是否限制。详情查看：https://gitee.com/lhj1618/memo/releases/end

2025-11-27

5

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。