全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布-低调大师

全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布

2025-11-25 72

AMD携手IBM与AI初创Zyphra发布ZAYA1——全球首个全程基于AMD硬件训练的MoE基础模型，预训练14T tokens，综合性能与Qwen3系列持平，数学/STEM推理未经指令微调即可逼近Qwen3专业版。

训练规模

集群：IBM Cloud128节点×8张AMD Instinct MI300X，共1024卡；InfinityFabric+ROCm，峰值750PFLOPs
数据：14T tokens，课程学习由通用网页→数学/代码/推理;后训练版本将另行发布

架构创新

CCA注意力：卷积+压缩嵌入注意力头，显存占用↓32%，长上下文吞吐↑18%
线性路由MoE：专家粒度细化+负载均衡正则，Top-2路由精度提升2.3pp，稀疏度达70%时仍保持高利用率

基准成绩

ZAYA1-Base（非指令版）在MMLU-Redux、GSM-8K、MATH、ScienceQA等基准与Qwen3-Base打平;CMATH与OCW-Math显著超越，验证STEM潜力。Zyphra透露，指令与RLHF版本将于2026Q1推出，并开放API与权重下载。

AMD表示，此次合作验证MI300X+ROCm在大规模MoE训练中的可行性，未来将与更多云厂商复制“纯AMD”集群方案，目标2026年训练>100B参数的MoE模型时实现与NVIDIA方案TCO持平。

微信关注我们

原文链接：https://www.oschina.net/news/385696

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开发者社区在关注什么？「阅读榜单」给出答案。

OSCHINA 提供了海量的新鲜 IT 行业资讯和开发者技术文章，如果你觉得刷不过来，不妨试试直接浏览「阅读榜单」。通过 AI 智能筛选与社区热度分析，OSCHINA「阅读榜单」自动汇总最值得读的技术文章、开源项目解读、工程实践经验以及行业趋势等优质内容。我们提供「周榜」与「月榜」两个维度，让您既能快速跟进最新热点：也能阅读按月沉淀的高价值深度技术内容：指路：https://www.oschina.net/reading-list/

2025-11-25

78

微软宣布为 Visual Studio 引入全新的“现代支持生命周期（Modern Support Lifecycle）”，目标是让这款经典 IDE 更贴合当下快速迭代的软件开发节奏。新版策略如下：每月按节奏推出新功能、性能优化和修复；每年 11 月提供一次年度大版本更新；两年主线支持周期，其中首年包含所有功能与安全更新，次年以稳定性与安全补丁为主，适合希望维持长期稳定环境的企业团队。在体验层面，Visual Studio 2026 带来更快的加载速度、更敏捷的界面响应，并加入现代 UI 设计。AI 成为核心亮点，深度整合 GitHub Copilot Agent，让调试、性能分析、代码迁移等环节更智能。微软同时承诺保持与 Visual Studio 2022 的良好兼容性，项目、扩展、SDK 可无缝沿用，升级过程平滑，支持新旧版本并存。官方表示，新模式旨在让开发者更快获得创新能力，同时维持企业用户需要的稳定性。通过“Insiders Channel”，社区仍可提前体验新特性并推动产品迭代。

2025-11-25

53

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。