我国科学家发明混合并行新算法,让 AI 训练速度翻倍
近日,西北农林科技大学信息工程学院智能计算与农业信息系统团队刘斌教授携其课题组在国际计算机体系结构领域权威期刊《IEEE Transactions on Computers》(TC,CCF A类期刊)上发表研究论文。 该论文由西北农林科技大学携手美国纽约州立大学和云南大学联合发表。西北农林科技大学信息工程学院教授刘斌担任第一作者,纪泽宇老师与云南大学副教授何臻力共同担任通讯作者,纽约州立大学教授李克勤(欧洲科学院院士,并行与分布式计算领域公认的顶尖学者,国家特聘教授)作为重要合作者,使本次研究成果更具国际影响力。 论文针对当前大规模深度卷积神经网络(DCNN)大模型训练中负载不均衡和高通信开销的难题,提出了一种创新的混合并行训练方法——GroPipe。该方法首次将流水线模型并行与数据并行相融合,构建“组内流水线+组间数据并行”的分层训练架构,并通过自动模型划分算法(AMPA)实现计算负载的动态均衡调度,大幅提升GPU资源利用率。 GroPipe方法整体框架图。西北农林科技大学供图 为了进一步降低数据并行同步通信代价,GroPipe在反向传播阶段引入“基于分组的延迟异步通信”策略,延迟梯...











