DeepSeek 致谢腾讯技术团队
日前，腾讯技术团队针对 DeepSeek 开源的 DeepEP 通信框架进行深度优化，使其在多种网络环境下均实现显著性能提升。 DeepEP 是一个为专家混合（MoE）和专家并行（EP）量身定制的通信库。它提供高吞吐量和低延迟的全对全 GPU 内核，这些内核也被称为 MoE 派发和组合。该库还支持低精度运算，包括 FP8。 经测试，优化后的通信框架性能在 RoCE 网络环境提升 100%，IB 网络环境提升 30%，为企业开展 AI 大模型训练提供更高效的解决方案。 https://github.com/deepseek-ai/DeepEP/pull/130 该技术方案获得了 DeepSeek 公开致谢，称这是一次「huge speedup」代码贡献。 自今年 2 月 DeepSeek 开源包括 DeepEP 在内的五大代码库以来，该团队便向业界展示了如何利用有限的硬件资源实现接近万卡集群的性能。 在这些技术中，DeepEP 凭借突破性的方法提升了 300% 的通信效率，成功解决了 MoE 架构大模型对英伟达 NCCL 的依赖问题。但该技术在成本较低、适用面更广的 RoCE 网络环境中...
