Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术-低调大师

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术

2025-09-29 108

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术

此版本更新内容包括：

核心特性

支持DeepSeek-v3.2-EXP with DSA
Omni Proxy，高性能PD分离调度
KV offload，结合host内存的KVM，实现MLA场景KV blocks数增加2个数量级以上，支持长序列和多轮对话

支持模型列表

模型	硬件	精度类型	部署形态
支持DeepSeek-v3.2-Exp	A3	BF16	PD分离
支持DeepSeek-v3.2-Exp	A3	W8A8C16	PD分离
支持DeepSeek-v3.2-Exp	A3	Prefill W4A8C16，Decode W8A8C16	PD分离

性能测试

BF16 1P32-1D32	单机BS	TPOT(ms)	单条请求TTFT(s)
64K-1K	2	32	3.37
32K-1K	6	34	1.70
16K-1K	8	34	0.97

INT8 2P16-1D32	单机BS	TPOT(ms)	单条请求TTFT(s)
128K-1K	2	32	7.834
64K-1K	4	30	3.736
32K-1K	6	28	1.88
16K-1K	8	27	0.979

Prefill INT4/Decode INT8 4P8-1D32	单机BS	TPOT(ms)	单条请求TTFT(s)
64K-1K	4	31	6.10
32K-1K	8	29	3.05
16K-1K	8	30	1.51

安装包

硬件	架构	镜像文件	Tar包
A3	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-arm:release_v0.4.2	omni_infer-a3-arm:v0.4.2

权重下载

DeepSeek-V3.2-Exp-BF16 DeepSeek-V3.2-Exp-INT8 DeepSeek-V3.2-Exp-INT4

提取码：omniinfer

安装部署

Deepseek-v3.2-Exp安装部署指南

Deepseek-v3.2-Exp权重量化指南

性能测试脚本

Deepseek-v3.2-Exp性能测试脚本

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.4.2

微信关注我们

原文链接：https://www.oschina.net/news/375300

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Linux 6.17 正式发布，带来了大量硬件支持与性能优化

Linux Kernel6.17 已正式发布，并将成为未来 Ubuntu 25.10、Fedora 43 等发行版的重要内核基础。 https://lkml.org/lkml/2025/9/28/461 此次更新带来了大量硬件支持与性能优化： Attack Vector Controls — 提升安全性方面的控制机制增强 Intel Panther Lake Xe3 显卡被宣布为稳定支持（stable），意味着该硬件在内核中的驱动成熟可靠 Intel 图形驱动改进，特别是为 “Project Battlematrix” 的相关支持增强 Raspberry Pi RP1 的主线支持被纳入（mainline support）——硬件支持更广泛 Intel IPU7 驱动的加入/优化 EXT4 文件系统的可扩展性改进各种性能优化和其他系统级优化（如调度、内存、驱动方面的调整）开发者测试显示，Linux 6.17 运行稳定，并带来一定性能提升。随着该版本发布，Linux 内核进入 6.18 的合并窗口，新一轮功能更新即将展开。

2025-09-29

110

WoTerm 是一款跨平台开源且免费，功能强大的远程管理工具，集成主流远程通讯协议，全面满足您的需求：支持 SSH1/SSH2、FTP/FTPS、SFTP、TELNET、RLOGIN、RDP、VNC、SHELL、串口、TCP、UDP 等多种协议，让您无需切换工具，轻松应对各种远程操作和通讯场景。如下是最新的更新内容：增加SFTP/FTP的上传及下载时打开文件夹的方式。优化SFTP/FTP的过滤输入焦点问题。优化安装包启动时，管理员启动程序调整为普通用户权限，解决UAC权限导致的文件拖拽失败问题。优化SSH会话，增加启动时同步打开SFTP助手左边栏。增加文件拖放至终端时，自动打开SFTP或zmodem上传文件。以下是个别更新点展示。官网地址：https://woterm.com 开源地址：https://github.com/aoyiduo/woterm 和https://gitee.com/aoyiduo/woterm

2025-09-29

120

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。