蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0-低调大师

蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

2025-12-12 11

蚂蚁技术研究院宣布推出 LLaDA2.0 系列离散扩散大语言模型（dLLM），并同步公开了背后的技术报告，宣称是“业内首个 100B 扩散语言模型”。

LLaDA2.0 包含 MoE 架构的 16B (mini) 和 100B (flash) 两个版本，将 Diffusion 模型的参数规模首次扩展到了 100B 量级。据介绍，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，更在代码、数学和智能体任务上展现出了超越同级自回归（AR）模型的性能。

通过创新的 Warmup-Stable-Decay（WSD）持续预训练策略，LLaDA2.0 能够无缝继承现有 AR 模型的知识，避免了从头训练的高昂成本。结合不仅限于常规 SFT 的置信度感知并行训练（CAP）和扩散模型版 DPO，LLaDA2.0 在保证生成质量的同时，利用扩散模型的并行解码优势，实现了相比 AR 模型 2.1 倍的推理加速，证明了在超大规模参数下，扩散模型不仅可行，而且更强、更快。

蚂蚁技术研究院在知识理解、数学、代码、推理 & 智能体等多个维度对模型进行了评估。结果显示，LLaDA2.0 在结构化生成任务（如代码）上具有显著优势，并在其他领域与开源 AR 模型持平。

LLaDA2.0 的模型权重（16B/100B）及相关训练代码均已开源：

https://huggingface.co/collections/inclusionAI/llada-20
https://github.com/inclusionAI/LLaDA2.0

微信关注我们

原文链接：https://www.oschina.net/news/389420

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

美图 CEO 吴欣鸿：鼓励员工内部创业，给 1000 万“风投”

近日，美图公司CEO吴欣鸿在媒体对话中透露，美图正从中型公司重回创业团队，打造AI创新工作室进行内部“赛马”，每个工作室不超过10人，可申请1000万元基础资金，以半年为期进行产品创新。吴欣鸿透露，为应对AI时代的挑战，美图主动进行组织变革，希望2000多人的团队可以变成一个个的小组织，“未来我们最激烈的竞争不一定是跟大厂，反倒是跟一些新锐的创业团队，所以得提前以他们的效率为标准去尽量对齐。” 他认为，组织效率和能力是当下美图需要提升的，“效率是对标敏捷的创业公司，能力是让每个人都能成为超级个体。”为此，美图对标当下AI创业团队，内部推出了AI创新工作室机制。吴欣鸿介绍，美图单个AI创新工作室人数不超过10人，更偏向全能型人才，以半年为时限，充分授权员工进行产品开发，公司会像风险投资一样给到1000万元的基础预算，并视项目实际需要酌情加大投入；同时，公司提供整个中后台能力供项目团队调用，团队自主负责产品的定义、美学的把握、整个项目和工程的管理等；此外，团队成员可获得对应的分红激励。

2025-12-12

9

OpenAI 首席执行官 Sam Altman 在官网发表了回顾 OpenAI 成立 10 周年的博客文章。内容翻译如下：回顾十年间的突破与收获，探寻通往造福全人类的 AGI 之路。 OpenAI 的成就已经远超我当初能想象的程度。我们一开始就打算做一件疯狂、几乎不可能、前所未有的事。从极度不确定的起点出发，顶着一切合理预测都不看好的局面，我们一路坚持努力，如今终于有机会真正实现我们的使命。十年前的今天，我们向世界宣布了这个计划，尽管正式启动还要等到几周后的 2016 年 1 月初。从某种意义上说，十年是很长的时间；但从社会变迁的节奏来看，这并不算长。虽然十年来日常生活似乎没太大变化，但今天我们所面对的可能性空间，与当年那 15 个技术宅围坐一起琢磨如何取得突破时相比，已经完全不同。回看早期的照片，我第一反应是：大家都显得好年轻。而接下来真正让我震撼的，是那种不合常理的乐观，以及每个人脸上明显能看出的快乐。那段时间疯狂而有趣：即便外界对我们极度误解，但我们有坚实的信念，觉得这件事意义重大，值得我们在成功率极低的情况下拼命努力。我们有极具天赋的人才，以及极为明确的专注。一步一...

2025-12-12

11

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。