Omni-Infer v0.1.0 已经发布，超大规模 MoE 模型推理加速技术

2025-07-07 95 收藏

Omni-Infer v0.1.0 已经发布，超大规模 MoE 模型推理加速技术

此版本更新内容包括：

v0.1.0

这是我们的第一个正式开源版本

核心特性

• PD分离
• MTP
• 入图
• 图缓存
• omni-attention
• omni-placement（静态）

其他优化

• Tokenizer进程池化
• Schuduer异步调度
• PD分离多API Server架构
• 昇腾亲和通信优化

支持模型列表

模型	部署形态
DeepSeek-R1	PD分离
Qwen2.5系列	混布（TP>=1 DP=1）

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.1.0

上一篇 下一篇

微信关注我们

原文链接：https://www.oschina.net/news/359246/omni-infer-0-1-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

仓颉编程语言正式发布首个长期支持版本 (LTS)：Cangjie 1.0.0

仓颉编程语言的首个长期支持（Long-Term Support, LTS）版本已正式发布，版本号为Cangjie 1.0.0。版本包含了仓颉应用开发必须的能力，包括编译器，运行时，标准库，和工具链。 仓颉编程语言是一种面向全场景应用开发的通用编程语言，可以兼顾开发效率和运行性能，并提供良好的编程体验，主要具有如下特点： 多后端支持：仓颉编程语言支持 CJNative 和 CJVM 两种后端。其中 CJNative 后端将代码编译为原生二进制代码，直接在操作系统层面上运行；CJVM 后端将代码编译为字节码，基于 VM（虚拟机）进行运行。本次发布仅提供 CJNative 后端 SDK，CJVM 后端 SDK 敬请期待。 语法简明高效：仓颉编程语言提供了一系列简明高效的语法，旨在减少冗余书写、提升开发效率，例如插值字符串、主构造函数、Flow 表达式、match和重导出等语法，让开发者可以用较少编码表达相关逻辑。 多范式编程：仓颉编程语言支持函数式、命令式和面向对象等多范式编程，融合了高阶函数、代数数据类型、模式匹配、泛型等函数式语言的先进特性，还有封装、接口、继承、子类型多态等支持模块化开...

2025-07-07

150

上一篇

k8m v0.0.141 已经发布，轻量级的 Kubernetes 仪表板

k8m v0.0.141 已经发布，轻量级的 Kubernetes 仪表板 此版本更新内容包括： 更新内容 refactor(dynamic): 优化YAML解析逻辑，直接使用map接收解析结果 fix(I18n): 修复翻译通道设置为client.edge refactor(I18nTranslateProvider): 移除硬编码翻译改用导入的英文翻译配置 feat(i18n): 重新组织翻译提供者组件，提升代码结构和可维护性 refactor(i18n): 将翻译逻辑提取为独立组件以提升可维护性 refactor(i18n): 优化翻译初始化逻辑，移除冗余代码 fix(ui): 修复语言切换功能并设置默认语言 feat(工具栏): 添加语言切换功能并调整浮动工具栏位置 feat(工具栏): 添加退出按钮图标并支持多语言切换功能 feat(i18n): 添加i18n-jsautotranslate依赖并实现自动翻译功能 style(WebSocketChatGPT): 新增AI对话yaml使用指引 ci: 统一 GitHub Actions 工作流中的数组格式和版本变量 style...

2025-07-07

81

下一篇

相关文章

发表评论

发表

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-13 大小: 1MB 下载: 0次

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-13 大小: 189MB 下载: 0次