首页 文章 精选 留言 我的

精选列表

搜索[AI数据库],共10000篇文章
优秀的个人博客,低调大师

我国科学家发明混合并行新算法,让 AI 训练速度翻倍

近日,西北农林科技大学信息工程学院智能计算与农业信息系统团队刘斌教授携其课题组在国际计算机体系结构领域权威期刊《IEEE Transactions on Computers》(TC,CCF A类期刊)上发表研究论文。 该论文由西北农林科技大学携手美国纽约州立大学和云南大学联合发表。西北农林科技大学信息工程学院教授刘斌担任第一作者,纪泽宇老师与云南大学副教授何臻力共同担任通讯作者,纽约州立大学教授李克勤(欧洲科学院院士,并行与分布式计算领域公认的顶尖学者,国家特聘教授)作为重要合作者,使本次研究成果更具国际影响力。 论文针对当前大规模深度卷积神经网络(DCNN)大模型训练中负载不均衡和高通信开销的难题,提出了一种创新的混合并行训练方法——GroPipe。该方法首次将流水线模型并行与数据并行相融合,构建“组内流水线+组间数据并行”的分层训练架构,并通过自动模型划分算法(AMPA)实现计算负载的动态均衡调度,大幅提升GPU资源利用率。 GroPipe方法整体框架图。西北农林科技大学供图 为了进一步降低数据并行同步通信代价,GroPipe在反向传播阶段引入“基于分组的延迟异步通信”策略,延迟梯度同步操作,有效减轻全局通信带宽压力,显著提升训练吞吐量。 实验证明,在ImageNet数据集上,GroPipe方法相较于主流方案(如DP、Torchgpipe、DAPPLE和DeepSpeed)表现出卓越优势:ResNet系列平均加速比达42.2%,VGG系列达79.2%;在BERT-base模型训练中,性能提升最高可达51%。该成果展示了GroPipe在图像与文本领域的广泛适用性。 这一成果的发表标志着西北农林科技大学在计算机体系结构领域的A类国际顶级学术期刊——《IEEE Transactions on Computers》(创刊于1952年)上实现了历史性突破。 相关论文信息:https://doi.org/10.1109/TC.2025.3566869 转载自:https://news.sciencenet.cn/htmlnews/2025/5/544895.shtm 作者:李媛 来源:中国科学报

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册