每日一博 | 深度学习中的优化算法与实现
GiantPandaCV导语:这篇文章的内容主要是参考 沐神的mxnet/gluon视频中,Aston Zhang讲解的优化部分 对深度学习调参背后的数学原理进行讲解。文章有些长,小伙伴们可以耐心读完,相信收获一定会很大。本文同步在我的知乎,地址为:https://zhuanlan.zhihu.com/p/35229268 1. 前言 通过这么长时间的学习,我们应该对于通过深度学习解决问题的大体流程有个宏观的概念了吧? 设计模型 构造loss function 通过优化算法,找到一个某种意义上的optim值 其实在找optim的值过程,就是我们通常所说的调参的过程。 同一个model,一样的loss function,为什么不同的人对于同一个数据集会得到不同的结果?这其实就是调参的魅力了。。。 当然,调参并不是盲目的瞎调,也不是靠着运气乱调参,其背后也是遵循着一定的数学原理的。(本人是调参新手,如果说的不对,请各位评论区拍砖指教) 2. 调参背后的数学原理 通过前面关于深度学习的介绍和沐神的视频教程,我们已经接触到了很多优化算法。比如说,在训练模型的时候,不断迭代参数以最小化损失函数。...




