DeepEP —— 开源 EP 通信库-低调大师

DeepEP —— 开源 EP 通信库

2025-06-18 170

DeepEP 是专为 Mixture-of-Experts (MoE) 和 expert parallelism (EP) 定制的通信库。它提供高吞吐量和低延迟的 all-to-all GPU 内核，也就是所谓的 MoE 调度和组合。该库还支持低精度操作，包括 FP8。

为了与 DeepSeek-V3 论文中提出的 group-limited gating algorithm 保持一致，DeepEP 提供了一组针对非对称域带宽转发（例如将数据从 NVLink 域转发到 RDMA 域）进行优化的内核。这些内核提供高吞吐量，使其适合训练和推理预填充任务。此外，它们还支持 SM (Streaming Multiprocessors) 数量控制。

对于延迟敏感的推理解码，DeepEP 包含一组具有纯 RDMA 的低延迟内核，以最大限度地减少延迟。该库还引入了一种 hook-based 通信计算重叠方法，该方法不占用任何 SM 资源。

要求

Hopper GPU（以后可能支持更多架构或设备）
Python 3.8 及以上版本
CUDA 12.3 及以上版本
PyTorch 2.1 及以上版本
用于节点内通信的 NVLink
用于节点内通信的 RDMA 网络

微信关注我们

原文链接：https://www.oschina.net/p/deepep

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Gitee MCP 现已支持远程访问：无需本地部署，AI 助手即插即用

今年三月，Gitee 正式发布了官方 MCP Server，让 AI 助手深度参与代码仓库的管理，助力开发者更高效地工作。今天，Gitee MCP 正式支持远程访问，上线了Remote mcp-gitee：无需安装、即开即用，让 AI 助手可以远程、安全地与 Gitee 交互，真正做到「即连即用」。开源地址：https://gitee.com/oschina/mcp-gitee 什么是 Remote mcp-gitee？ Remote mcp-gitee是 Gitee 推出的远程版 MCP Server，无需本地部署，默认运行在云端，同时也拥有全面的接口能力，支持仓库、文件、Issue、PR、用户信息获取、评论等众多操作，满足常见开发协作需求。你可以通过简单配置直接将其接入任意支持 MCP Streamable HTTP 协议的客户端，无需安装依赖、编译构建，也无需配置本地环境。与此前的本地部署方式不同，Remote mcp-gitee将服务完全托管在云端，为用户提供了开箱即用、跨平台、跨设备的一致使用体验。远程 MCP 有哪些使用场景 AI 驱动的协作：通过Remote m...

2025-06-18

96

负责 Firefox 搜索的产品经理Gayatri 宣布团队正在与 Perplexity 合作，将Perplexity AI 搜索内置到 Firefox 139 中。 Perplexity 是一个 AI 驱动的搜索引擎，能直接以对话形式回答你的问题——无需翻阅大量搜索结果。它特别适用于以下情况： ✅需要快速简洁的答案，避免在多个信息源中迷失 📚在研究或学习时需要准确且引用充分的资料 ✍️在创作或处理技术内容，如博客文章或代码片段 Firefox 团队表示，这是他们更广泛目标的组成部分，即在使用搜索方式以及信任哪些工具来帮助他们完成任务方面为用户提供更多选择。如果体验良好，可能会考虑在未来支持更多 AI 回答或搜索选项。

2025-06-18

103

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。