百度将 HPC 技术引入深度学习;卡巴斯基操作系统;AMD Ryzen 预售等 | AI 开发者头条
百度将 Ring Allreduce 算法引入深度学习
Ring Allreduce 本是 HPC (高性能计算)领域的一项技术。日前,百度硅谷 AI 实验室已成功将其移植到深度学习平台,借此来加速 GPU 之间的数据传输速率。目前,在 GPU 并行计算中,它们之间的通信瓶颈是制约深度学习模型训练速度的主要障碍之一。百度宣布,Ring Allreduce 算法的引入将移除该瓶颈,大幅提升多 GPU 和分布式计算环境下的深度学习模型运算效率。雷锋网获得消息,该技术已被百度成功应用于语音识别。
该算法以库和 Tensorflow 补丁的形式向开发者开源,分别为 baidu-allreduce 和 tensorflow-allreduce,已在 GitHub 上线。