字节开源 MoE 通信优化技术-低调大师

字节开源 MoE 通信优化技术

2025-03-11 213

3 月 10日，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术：COMET，可将大模型训练效率提升1.7倍，成本节省40%。

COMET 包含约 1.2 万行 C++ 和 CUDA 代码，以及 2 千行 Python 代码，并向开发者提供了一套友好的 Python API。

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts

论文链接：https://arxiv.org/pdf/2502.19811
开源地址：https://github.com/bytedance/flux

据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。相较DeepSeek近期开源的DualPipe等MoE优化方案，COMET可以像插件一样直接接入已有的MoE训练框架，支持业界绝大部分主流大模型，无需对训练框架进行侵入式改动。

下图为 COMET 的设计结构：

因简洁、通用的设计理念，该工作以5/5/5/4 的高分入选全球机器学习系统顶级会议 MLSys 2025 ，被认为“在大规模生产环境中极具应用潜力”。

值得一提的是，COMET 与Deepseek 研发的DualPipe方案还可以联合使用。在降低MoE通信开销上，COMET 采用了计算-通信融合算子的优化方式， DualPipe则通过排布算子来掩盖通信，两种方案并不冲突，结合使用或将更大幅度压缩模型训练成本。

相关阅读：豆包大模型团队提出全新的稀疏模型架构 UltraMem

微信关注我们

原文链接：https://www.oschina.net/news/338113

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

国产 ERP 软件巨头用友开始大裁员，至少 2000 人受影响

近日有网友爆料，国产ERP软件巨头用友要开始大裁员了，去年一年用友经营亏损加重，2024年全年亏损的数值将近20亿。 2024 年年度业绩预告显示，员工减少了3700人。截止2024年12月31日，用友员工在21249人。据了解，用友此次裁员比例在10%至20%，意味着2125人至4250人受影响。当前，用友80%的项目由自己交付，20%由合作伙伴交付。用友计划用两到三年时间，80%项目由合作伙伴交付，20%用友交付。这意味着，在这期间，交付人员存在一定比例减少。据该网友表示，用友的经营方式将从卖license卖云计算＋卖交付＋卖售后服务逐渐转向卖license卖云服务，交付和服务会转向合作伙伴去做。经财务部门初步测算，预计2024年度实现归属于母公司所有者的净亏损为17.2亿元到19.2亿元。用友公告称业绩预亏的主要原因为： 1、受外部宏观环境影响，部分客户需求阶段性延后，导致全年签约金额同比下降。预计实现营业收入 91 亿元到 92 亿元，同比下降 6.1%-7.1%。 2、研发投入形成的无形资产摊销金额同比增加约 30,000 万元。 3、控制人员规模，离职补偿金同比增加约...

2025-03-11

416

欧洲的高性能计算（HPC）联合企业启动了一个2.4亿欧元的项目，为人工智能开发RISC-V芯片和软件。欧洲RISC-V数字自治（DARE）项目是加强欧洲高性能计算（HPC）和人工智能（AI）技术主权的第一阶段。该倡议是对欧洲数字主权战略需求的直接回应，确保欧洲大陆完全控制其关键计算基础设施。该项目称：“欧洲长期以来依赖非欧洲硬件和软件解决方案作为其超级计算基础设施。这种依赖给安全、经济稳定和技术竞争力带来风险。DARE试图通过利用开放的RISC-V生态系统和最新的芯片技术扭转这一趋势，从而创造真正的欧洲产品，为欧洲未来的超级计算机提供动力。” 该项目表示，这些芯片可以在比利时的项目合作伙伴imec使用其试点生产线，采用领先的CMOS工艺制造。领导该项目的巴塞罗那超级计算机中心（BSC）的DARE首席研究员Osman Unsal说：“DARE敢于从技术复杂性的顶层开始，生产欧洲设计的超级计算机处理器芯片，为欧洲的数字主权铺平道路。”

2025-03-11

150

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。