蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0-低调大师

蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0

2025-09-18 123

蚂蚁百灵大模型团队正式开源其最新 MoE 大模型 ——Ling-flash-2.0。

作为 Ling 2.0 架构系列的第三款模型，Ling-flash-2.0 以总参数 100B、激活仅 6.1B（non-embedding 激活 4.8B）的轻量级配置，在多个权威评测中展现出媲美甚至超越 40B 级别 Dense 模型和更大 MoE 模型的卓越性能。

据介绍，Ling-flash-2.0 在仅激活 6.1B 参数的前提下，实现了对 40B Dense 模型的性能超越，用最小激活参数，撬动最大任务性能。

为此，团队在多个维度上 “做减法” 也 “做加法”：

1/32 激活比例：每次推理仅激活 6.1B 参数，计算量远低于同性能 Dense 模型
专家粒度调优：细化专家分工，减少冗余激活
共享专家机制：提升通用知识复用率
sigmoid 路由 + aux-loss free 策略：实现专家负载均衡，避免传统 MoE 的训练震荡
MTP 层、QK-Norm、half-RoPE：在建模目标、注意力机制、位置编码等细节上实现经验最优

最终结果是：6.1B 激活参数，带来约 40B Dense 模型的等效性能，实现 7 倍以上的性能杠杆。

Ling-flash-2.0基础版与对话版模型已同步上架Hugging Face与ModelScope，采用MIT协议可商用。

HuggingFace：https://huggingface.co/inclusionAI/Ling-flash-2.0
ModelScope：https://modelscope.cn/models/inclusionAI/Ling-flash-2.0
GitHub：https://github.com/inclusionAI/Ling-V2

微信关注我们

原文链接：https://www.oschina.net/news/372964

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

华为发布全球首个通算超节点

在华为全联接大会2025上，华为轮值董事长徐直军正式发布了全球首个通算超节点华为 Taishan 950 SuperPoD，计划2026年一季度上市。徐直军称，其将能够彻底取代各种应用场景的大型机和小型机以及Exadata数据库一体机，将成为各类大型机、小型机的终结者。徐直军指出：“算力过去是，未来也将继续是人工智能的关键，更是中国人工智能的关键”。他认为，超节点在物理上由多台机器组成，但逻辑上以一台机器学习、思考、推理。此外，华为发布的最新超节点产品 Atlas 950 SuperPoD，算力规模8192卡，预计于2026年四季度上市。Atlas 960 SuperPoD 算力规模 15488 卡，预计 2027 年四季度上市。基于超节点，华为同时发布了全球最强超节点集群，分别是Atlas 950 SuperCluster和 Atlas 960 SuperCluster，算力规模分别超过50万卡和达到百万卡。

2025-09-18

91

蚂蚁百灵大模型团队正式发布 Ring-mini-2.0，一款基于 Ling-mini-2.0 架构深度优化的高性能推理型 MoE 模型（Thinking model）。它在总参数量 16B、仅激活 1.4B 参数的情况下，即可达到 10B 级别以下 dense 模型的综合推理能力，尤其在逻辑推理、代码与数学任务中表现卓越，并支持 128K 长上下文及 300+ token/s 的高速生成。 Ring-mini-2.0 以 Ling-mini-2.0-base 为基础继续训练，经过 Long-COT SFT、更稳定持续的大规模 RLVR 以及 RLHF 联合优化，显著提升了复杂推理的稳定性与泛化性。在多项高难度基准（LiveCodeBench、AIME 2025、GPQA、ARC-AGI-v1 等）中，在输出长度相当的情况下，性能显著超越 10B 以下 dense 模型，甚至媲美更大参数量的 MoE 模型（如 gpt-oss-20B-medium），在逻辑推理方面尤为突出。 Ring-mini-2.0 已全面开源，模型权重、训练策略与数据配方将全部开放。 HuggingFace：htt...

2025-09-18

113

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。