如何训练深度神经网络?老司机的 15 点建议
本文为印度深度学习专家、创业者 Rishabh Shukla 在 GitHub 上发表的长博文,总结了他过去的开发经验,旨在给新入门的开发者提供指导。雷锋网做了不改变原意的编译。 在深度学习领域,为了高效训练深度神经网络,有些实践方法被过来人强烈推荐。 在这篇博文中,我会覆盖几种最常使用的实践方法,从高品质训练数据的重要性、超参数(hyperparameters)到更快创建 DNN(深度神经网络) 原型模型的一般性建议。这些推荐方法中的大多数,已被学术界的研究所证实,并在论文中展示了相关实验、数学证据,比如 Efficient BackProp(Yann LeCun et al.) 和Practical Recommendations for Deep Architectures(Yoshua Bengio)。 1. 训练数据 许多 M
