您现在的位置是:首页 > 文章详情

深度学习笔记6:神经网络优化算法之从SGD到Adam

日期:2018-09-05点击:425

1

从前面的学习中,笔者带大家一起学会了如何手动搭建神经网络,以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制,而并不是初次接触深度学习就上手框架,虽然对外宣称神经网络是个黑箱机制,但是作为学习者我们极度有必要搞清楚算法在每个环节到底都干了些什么。

今天笔者需要讲的是深度学习的一个大的主题——优化算法。采用何种方式对损失函数进行迭代优化,这是机器学习的一大主题之一,当一个机器学习问题有了具体的模型和评估策略,所有的机器学习问题都可以形式化为一个最优化问题。这也是为什么我们说优化理论和凸优化算法等学科是机器学习一大支柱的原因所在。从纯数学的角度来看,所有的数学模型尽管形式不一,各有头面,但到最后几乎到可以归约为最优化问题。所以,有志于奋战在机器学习和深度学习领域的各位,学好最优化,责无旁贷啊。

要说机器学










原文链接:https://yq.aliyun.com/articles/636277
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章