深度学习的难点：神经网络越深，优化问题越难-低调大师

深度学习的难点：神经网络越深，优化问题越难

2017-05-22 939

深度学习的核心问题就是一个非常难的优化问题。所以在神经网络引入后的几十年间，深度神经网络的优化问题的困难性是阻碍它们成为主流的一个重要因素。并导致了它们在20世纪90年代到21世纪初期间的衰落。不过现在已经基本解决了这个问题。在本篇博文中，我会探讨优化神经网络的“困难性”，以及理论上是怎么解释这个问题的。简而言之：神经网络变得越深，优化问题就会变得越难。

最简单的神经网络是单节点感知器，其优化问题是凸问题。凸优化问题的好处是所有的局部最小值也是全局最小值。存在各种各样的优化算法来解决凸优化问题，并且每隔几年就会发现更好的用于凸优化的多项式时间的算法。使用凸优化算法可以轻松地优化单个神经元的权重（参见下图）。下面让我们看看扩展一个单神经元后会发生什么。

图1 左图：一个凸函数。右图：一个非凸函数。凸函数比非凸函数更容易找到函数曲面的底部

微信关注我们

原文链接：https://yq.aliyun.com/articles/83456

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

演讲实录丨朱珑开启人工智能之眼

开启人工智能之眼朱珑依图科技CEO、计算机视觉专家朱珑：非常感谢张老师和白老师邀请，让我们这些青年人有机会在这里聚一聚。今天讲一下AI一些自己的理解，可能跟大部分人身份稍微有一些区别，我大概从事这方面学术上研究将近十多年时间，前面几年开始做创业，可以从两个行业纬度谈一谈之间相关性。不知道我们在国内怎么谈创业？在美国有一个创业或者硅谷有一个创业基本定义，中国创业在美国是有两个词，极不确定性情况下追求高速增长。这两个词推出什么不是创业？比如说我们在国贸这里开一家咖啡厅，这不是创业，这是一门生意，但是很难做到高速增长。什么是创业？我要开1000家咖啡厅，这个叫创业。还有对不确定性理解，如果我们在大公司开一个部门做一个方向性探索，或者说拓宽一个市场，这个比较不像创业，因为没有极强的不确定性，无论品牌、人员等等这些东西。一个极不确定性，一个超高速增长，这两个本质什么？就是风险。风险这个词恰恰把最牛的创业，和最牛的学术研究关联起来。创业是追求非常短时间的高速增长，所以它是短时间内的创业，大概7到9年的时间，这是有一个结论或者结果。学术圈可能追求2到30年的结论，更追求回报。这种周...

2017-05-23

389

本节书摘来自异步社区《TensorFlow技术解析与实战》一书中的第1章，第1.1节，作者李嘉璇，更多章节内容可以访问云栖社区“异步社区”公众号查看。第一篇　基础篇著名历史学家斯塔夫里阿诺斯在《全球通史》中，曾以15世纪的航海在“物理上”连通“各大洲”作为标志将人类历史划分为两个阶段。在我正在写作的《互联网通史》中，我把互联网这个“信息上”连通“人类个体”的物件作为划分人类历史的标志。而随着人工智能最近的崛起，我们又该思考重新划分了，因为人工智能将会在“信息上”连通“各个物体”。到那时各个物体都有“智能”，如智能汽车、智能电视、扫地机器人、智能音响等智能家居，想象极度的智能下，屋子里的电器和家居都可能和我们有简单的交互。深度学习领域之所以异军突起，是因为传统的研发思维，如架构、组件化、大规模并发、存储与计算等，已经是技术红海了，而每位工程师都应该学习机器学习，是因为它带给工程师全新的开发思维，工程师可以用自己的代码让机器更加“聪明”。第1章　人工智能概述 TensorFlow技术解析与实战有人说，人工智能在世界范围的流行，是因为那盘围棋。2016年3月，谷歌公司的AlphaG...

2017-05-23

672

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。