深度学习的难点:神经网络越深,优化问题越难
深度学习的核心问题就是一个非常难的优化问题。所以在神经网络引入后的几十年间,深度神经网络的优化问题的困难性是阻碍它们成为主流的一个重要因素。并导致了它们在20世纪90年代到21世纪初期间的衰落。不过现在已经基本解决了这个问题。在本篇博文中,我会探讨优化神经网络的“困难性”,以及理论上是怎么解释这个问题的。简而言之:神经网络变得越深,优化问题就会变得越难。
最简单的神经网络是单节点感知器,其优化问题是凸问题。凸优化问题的好处是所有的局部最小值也是全局最小值。存在各种各样的优化算法来解决凸优化问题,并且每隔几年就会发现更好的用于凸优化的多项式时间的算法。使用凸优化算法可以轻松地优化单个神经元的权重(参见下图)。下面让我们看看扩展一个单神经元后会发生什么。
图1 左图:一个凸函数。右图:一个非凸函数。凸函数比非凸函数更容易找到函数曲面的底部
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
演讲实录丨朱珑 开启人工智能之眼
开启人工智能之眼 朱珑 依图科技CEO、计算机视觉专家 朱珑:非常感谢张老师和白老师邀请,让我们这些青年人有机会在这里聚一聚。今天讲一下AI一些自己的理解,可能跟大部分人身份稍微有一些区别,我大概从事这方面学术上研究将近十多年时间,前面几年开始做创业,可以从两个行业纬度谈一谈之间相关性。 不知道我们在国内怎么谈创业?在美国有一个创业或者硅谷有一个创业基本定义,中国创业在美国是有两个词,极不确定性情况下追求高速增长。这两个词推出什么不是创业?比如说我们在国贸这里开一家咖啡厅,这不是创业,这是一门生意,但是很难做到高速增长。什么是创业?我要开1000家咖啡厅,这个叫创业。还有对不确定性理解,如果我们在大公司开一个部门做一个方向性探索,或者说拓宽一个市场,这个比较不像创业,因为没有极强的不确定性,无论品牌、人员等等这些东西。一个极不确定性,一个超高速增长,这两个本质什么?就是风险。 风险这个词恰恰把最牛的创业,和最牛的学术研究关联起来。创业是追求非常短时间的高速增长,所以它是短时间内的创业,大概7到9年的时间,这是有一个结论或者结果。学术圈可能追求2到30年的结论,更追求回报。这种周...
- 下一篇
《TensorFlow技术解析与实战》——第1章 人工智能概述 1.1什么是人工智能
本节书摘来自异步社区《TensorFlow技术解析与实战》一书中的第1章,第1.1节,作者李嘉璇,更多章节内容可以访问云栖社区“异步社区”公众号查看。 第一篇 基础篇 著名历史学家斯塔夫里阿诺斯在《全球通史》中,曾以15世纪的航海在“物理上”连通“各大洲”作为标志将人类历史划分为两个阶段。在我正在写作的《互联网通史》中,我把互联网这个“信息上”连通“人类个体”的物件作为划分人类历史的标志。而随着人工智能最近的崛起,我们又该思考重新划分了,因为人工智能将会在“信息上”连通“各个物体”。到那时各个物体都有“智能”,如智能汽车、智能电视、扫地机器人、智能音响等智能家居,想象极度的智能下,屋子里的电器和家居都可能和我们有简单的交互。 深度学习领域之所以异军突起,是因为传统的研发思维,如架构、组件化、大规模并发、存储与计算等,已经是技术红海了,而每位工程师都应该学习机器学习,是因为它带给工程师全新的开发思维,工程师可以用自己的代码让机器更加“聪明”。 第1章 人工智能概述 TensorFlow技术解析与实战 有人说,人工智能在世界范围的流行,是因为那盘围棋。2016年3月,谷歌公司的AlphaG...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Mario游戏-低调大师作品
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Red5直播服务器,属于Java语言的直播服务器
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库