首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/385701

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布

AMD携手IBM与AI初创Zyphra发布ZAYA1——全球首个全程基于AMD硬件训练的MoE基础模型,预训练14T tokens,综合性能与Qwen3系列持平,数学/STEM推理未经指令微调即可逼近Qwen3专业版。 训练规模 集群:IBM Cloud128节点×8张AMD Instinct MI300X,共1024卡;InfinityFabric+ROCm,峰值750PFLOPs 数据:14T tokens,课程学习由通用网页→数学/代码/推理;后训练版本将另行发布 架构创新 CCA注意力:卷积+压缩嵌入注意力头,显存占用↓32%,长上下文吞吐↑18% 线性路由MoE:专家粒度细化+负载均衡正则,Top-2路由精度提升2.3pp,稀疏度达70%时仍保持高利用率 基准成绩 ZAYA1-Base(非指令版)在MMLU-Redux、GSM-8K、MATH、ScienceQA等基准与Qwen3-Base打平;CMATH与OCW-Math显著超越,验证STEM潜力。Zyphra透露,指令与RLHF版本将于2026Q1推出,并开放API与权重下载。 AMD表示,此次合作验证MI300X+ROC...

让 Kubernetes 在 AI 时代再次焕发活力

在最新一期「云原生 AI」主题分享中,演讲者从 Kubernetes 的经典架构出发,讨论了在 AI 时代环境快速变化的背景下,这一基础设施所面临的挑战与可见的演进方向。随着大模型训练、推理和数据处理的规模不断扩大,资源管理、成本控制以及对异构硬件的适配成为 Kubernetes 必须回应的核心议题。 PPT 中重点提到,GPU、RDMA、KND 等非传统 CPU/内存资源正在成为计算负载的主角,但传统的 Device Plugin 模式常常只能整块分配硬件,导致灵活度不足和资源浪费。为此,社区与生态正在推动 Dynamic Resource Allocation(DRA)等新能力,使非标资源具备更细粒度的动态创建、分配和扩展能力。围绕 DRA 的生态也在不断演进,例如针对高性能网络设备的 DRANET 项目。 另外,在调度层面,越来越多面向 AI 负载的调度器或扩展被引入,例如 Volcano、Karpenter 等解决方案,用于更好地管理大规模训练与推理任务的资源需求。在推理场景中,KServe 作为 CNCF 的孵化项目,提供了 AI 推理服务的标准化路径,而 llm-d、Kth...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册