DeepMind提出训练网络新方法,快速找到最佳超参数和模型
从围棋到雅达利游戏、再到图像识别和语言翻译,神经网络在各领域已经崭露头角。
一直被大家忽视的是,在特定领域应用神经网络是在研究开始时就确定好的,比如用哪种类型的神经网络、用怎样的方法和数据训练它。最近DeepMind的一项研究表明,这些超参数可以通过经验、随机搜索或计算密集的搜索过程来选择。
在这篇名为《Population Based Training of Neural Networks》的论文中,研究人员提出一种训练神经网络的新方法,能让实验者快速选择最佳的超参数和模型完成任务。这种PBT(Population Based Training)法能够同时训练和优化一系列网络,快速找到最优设置。
更重要的是,PBT法不会增加计算开销。它可以像常规技术一样快速完成,并且容易集成到现有的机器学习pi