Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术

2025-08-15 202 收藏

Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术

此版本更新内容包括：

v0.3.0

核心特性

• 支持vllm 0.9.0 release

其他优化

• 基于18P8-1D144@A3，Deepseek R1单卡Decode峰值性能达到1920 TPS，TPOT<50ms

支持模型列表

模型	部署形态
DeepSeek-R1	PD分离
Qwen2.5系列	混布（TP>=1 DP=1）

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.3.0

上一篇 下一篇

微信关注我们

原文链接：https://www.oschina.net/news/366293/omni-infer-0-3-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Base DMS V1.1.0 发布，完善数据库对象管理功能

Base DMS 目标是开发一个智能的 AI 数据管理系统，借助 AI 大模型的能力辅助进行数据开发、数据管理以及数据治理。在v1.1.0版本中，重点支持了表、视图、物化视图、索引、序列、外部表等数据库对象的管理功能，并新增支持多种数据库。 更新内容 新增数据库支持 新增 Apache Hive 支持，兼容Hive metastore获取和管理元数据 新增 Clickhouse 支持，兼容元数据并实现图形化管理 新增 Greenplum 支持，兼容元数据并实现图形化管理 新增 Gaussdb 支持，兼容元数据并实现图形化管理 新增 Polardb 支持，兼容Polardb Mysql和Polardb Postgre两个版本。 新增 Mariadb支持，兼容元数据并实现图形化管理 数据库对象管理增强 实现图形化查看和管理数据库表、视图等对象，支持创建、修改、重命名、查看DDL、生成SQL等常用功能。 表 视图 物化视图 序列 函数 外部表 快速上手 下载docker-compose.yml文件一键启动docker环境 docker compose -p dms up -...

2025-08-15

181

上一篇

VirtualBox 7.2.0 发布

VirtualBox 是一款功能强大的 x86 虚拟机软件，它不仅具有丰富的特色，而且性能也很优异。VirtualBox 7.2.0 现已发布，这是一次重大更新。新增了以下功能： GUI：将全局和 VM 工具从 hamburger菜单移至全局工具任务栏（左侧垂直）和 VM 工具选项卡（右侧面板水平上方），以便于访问 Windows/Arm host：在统一的 Windows 安装程序包中添加了 Arm VM 虚拟化 Arm host：Windows 11/Arm VM 的虚拟化 Linux host：启用 3D 时的视频解码加速 Windows/Arm guest：针对新操作系统类型 Windows 11/Arm 的Guest additions macOS Arm host：使用 DXMT 进行实验性 3D 加速支持，移除了之前在 MoltenVK 上使用 DXVK 的无效解决方案。使用 Intel CPU 的 macOS 主机不再支持 3D 加速。 Storage：NVMe 存储控制器仿真现在是开源基础包的一部分 此外，还修复或添加了以下内容： Arm VM：VirtualBox7...

2025-08-15

145

下一篇

相关文章

发表评论

发表

资源下载

更多资源

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

时间: 2025-12-03 大小: 10MB 下载: 35次

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

时间: 2025-12-05 大小: 190MB 下载: 34次

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

时间: 2025-12-12 大小: 180MB 下载: 77次

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次