Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术
Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术
此版本更新内容包括：
v0.3.0
核心特性
- 支持vllm 0.9.0 release
其他优化
- 基于18P8-1D144@A3，Deepseek R1单卡Decode峰值性能达到1920 TPS，TPOT<50ms
支持模型列表
| 模型 | 部署形态 |
|---|---|
| DeepSeek-R1 | PD分离 |
| Qwen2.5系列 | 混布（TP>=1 DP=1） |
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
Base DMS V1.1.0 发布，完善数据库对象管理功能
Base DMS 目标是开发一个智能的 AI 数据管理系统，借助 AI 大模型的能力辅助进行数据开发、数据管理以及数据治理。在v1.1.0版本中，重点支持了表、视图、物化视图、索引、序列、外部表等数据库对象的管理功能，并新增支持多种数据库。 更新内容 新增数据库支持 新增 Apache Hive 支持，兼容Hive metastore获取和管理元数据 新增 Clickhouse 支持，兼容元数据并实现图形化管理 新增 Greenplum 支持，兼容元数据并实现图形化管理 新增 Gaussdb 支持，兼容元数据并实现图形化管理 新增 Polardb 支持，兼容Polardb Mysql和Polardb Postgre两个版本。 新增 Mariadb支持，兼容元数据并实现图形化管理 数据库对象管理增强 实现图形化查看和管理数据库表、视图等对象，支持创建、修改、重命名、查看DDL、生成SQL等常用功能。 表 视图 物化视图 序列 函数 外部表 快速上手 下载docker-compose.yml文件一键启动docker环境 docker compose -p dms up -...
- 下一篇
VirtualBox 7.2.0 发布
VirtualBox 是一款功能强大的 x86 虚拟机软件，它不仅具有丰富的特色，而且性能也很优异。VirtualBox 7.2.0 现已发布，这是一次重大更新。新增了以下功能： GUI：将全局和 VM 工具从 hamburger菜单移至全局工具任务栏（左侧垂直）和 VM 工具选项卡（右侧面板水平上方），以便于访问 Windows/Arm host：在统一的 Windows 安装程序包中添加了 Arm VM 虚拟化 Arm host：Windows 11/Arm VM 的虚拟化 Linux host：启用 3D 时的视频解码加速 Windows/Arm guest：针对新操作系统类型 Windows 11/Arm 的Guest additions macOS Arm host：使用 DXMT 进行实验性 3D 加速支持，移除了之前在 MoltenVK 上使用 DXVK 的无效解决方案。使用 Intel CPU 的 macOS 主机不再支持 3D 加速。 Storage：NVMe 存储控制器仿真现在是开源基础包的一部分 此外，还修复或添加了以下内容： Arm VM：VirtualBox7...
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码