Omni-Infer v0.8.0 已经发布，超大规模 MoE 模型推理加速技术

2026-01-20 10

Omni-Infer v0.8.0 已经发布，超大规模 MoE 模型推理加速技术。

v0.8.0

核心特性

*Pangu72B支持RL训练

支持模型列表

模型	硬件	精度类型	部署形态
openPangu-Ultra-MoE-718B	A3	INT8	PD分离
openPangu-Ultra-MoE-718B	A2	INT8	PD分离
openPangu-72B	A3	INT8	PD分离
openPangu-38B	A3	INT8	混布
openPangu-38B	A2	INT8	混布
openPangu-7B	A3	BF16	混布
openPangu-7B	A2	BF16	混布
openPangu-7BVL	A3	BF16	混布
DeepSeek-R1	A3	INT8	PD分离
DeepSeek-R1	A3	W4A8C16	PD分离
DeepSeek-R1	A3	BF16	PD分离
DeepSeek-R1	A2	INT8	PD分离
DeepSeek-V3.1	A3	INT8	PD分离
DeepSeek-V3.2	A3	INT8	PD分离
DeepSeek-OCR	A2	BF16	混布
Qwen2.5-7B	A3	INT8	混布（TP>=1 DP=1）
Qwen2.5-7B	A2	INT8	混布（TP>=1 DP=1）
QwQ	A3	BF16	PD分离
QwQ	A2	BF16	PD分离
Qwen3-235B	A3	INT8	PD分离
Qwen3-235B	A2	BF16	PD分离
Qwen3-32B	A3	BF16	PD分离
Qwen3-32B	A3	INT8	PD分离
Qwen3-30B	A3	BF16	PD分离
Kimi-K2	A3	W4A8C16	PD分离
Kimi-K2 Thinking	A3	W4A8C16	PD分离
Longcat-flash	A3	BF16	PD分离
Ling-1T	A3	BF16	PD分离
GPT-OSS120B	A3	INT8	PD分离
GPT-OSS120B	A2	INT8	PD分离
GPT-OSS20B	A3	INT8	PD分离
GPT-OSS20B	A2	INT8	PD分离

安装包

硬件	架构	镜像文件	Tar包
A3	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm	omni_infer-a3-arm:v0.8.0_vllm
A3	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm	omni_infer-a3-x86:v0.8.0_vllm
A2	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm	omni_infer-a2-arm:v0.8.0_vllm
A2	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm	omni_infer-a2-x86:v0.8.0_vllm

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.8.0

微信关注我们

原文链接：https://www.oschina.net/news/398190

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Zs Admin V1.0.0 发布

ZS-Admin 🚀 企业级前后端分离快速开发平台 · 开箱即用 · 安全 · 可扩展官网 • 文档 • 在线演示 • 后端源码 • 前端源码 🌟 项目简介 ZS-Admin 是一套面向中大型企业场景的现代化管理后台快速开发平台。基于主流技术栈构建，深度融合 RBAC 权限体系、多租户（SaaS）架构与低代码开发能力，帮助团队以最小成本快速交付高可用、高安全性的业务系统。 💡 适用于：OA 系统、ERP 后台、B2B 平台、SaaS 应用、内部管理系统等。 ✨ 核心价值极速启动：初始化即具备完整权限与组织架构，5 分钟进入业务开发降低重复劳动：内置用户、角色、菜单、字典、日志等通用模块架构清晰：前后端完全解耦，模块化设计，便于二次开发与维护生产就绪：支持 Docker 部署、JWT 认证、SQL 监控、操作审计等企业级特性 🔗 官方资源资源类型地址 🌐 官方网站 https://www.zsadmin.top 📚 官方文档 https://www.zsadmin.top 🖥️ 在线演示 http://demo.zsadmin.top 👤 演示账号 ad...

2026-01-20

8

CyreneAdmin 是一款面向企业级应用的后台管理系统脚手架，同时支持 Spring Boot 与 Solon 双框架，内置权限控制、用户管理、菜单配置、操作日志等核心模块，助力开发者快速构建安全、可维护的管理后台。最新版本 v1.3.0 已正式发布，主要更新内容如下： 🐞 Bug 修复 UI 层：修复路由切换后状态参数未缓存的问题 API 安全：增强文件上传接口的 XSS 防御能力登出逻辑：修复用户登出功能，并在登出时自动清空菜单数据、重置标签页状态 🛠 构建优化统一前后端打包流程，提升构建一致性前端依赖管理迁移至 pnpm，提高安装效率与磁盘利用率 ♻️ 代码重构系统模块：树形结构数据（如字典、菜单）统一由 TreeUtil 工具生成工具类：重命名参数校验工具类，移除冗余的树构建逻辑，简化维护 🎨 界面与交互升级布局与动画：优化页面切换过渡效果，调整 AdminLayout 的阴影与层级关系头部组件：重构 AdminHeader 布局，优化用户信息展示区域标签页组件：全面重写 AdminTab，改进激活状态指示器、关闭按钮样式及交互逻辑 UI 细节：引入...

2026-01-20

9

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。