【两项业界最佳】普林斯顿新算法自动生成高性能神经网络,同时超高效压缩
神经网络的结构对其性能有极其重要的影响。目前主流的神经网络结构搜索法仍然是试凑法,该方法存在三大问题:
- 训练过程中神经网络结构是固定的,训练并不能改善结构
- 时间和计算消耗巨大
- 生成的网络通常很冗余,计算和存储成本过高
为了解决以上问题,普林斯顿大学研究人员仿照人类大脑的学习过程,提出了一种自动生成神经网络的算法。该算法从一个种子结构(seed architecture)开始,这个种子结构类似于初生婴儿的大脑。
在训练过程中,先根据反向传播算法获得的梯度(gradient),连接和生长(grow)神经元,类似于幼儿的大脑的生长。随后,根据神经连接的强度(magnitude)逐步修剪(prune)冗余的连接和神经元,最终实现高性能、低能耗的神经网络,此时得到的推理模型(inference model)类似于成年人的大脑。
普林斯顿大学的一组研究人
