深度学习的难点：神经网络越深，优化问题越难-低调大师

深度学习的难点：神经网络越深，优化问题越难

2017-05-22 957

深度学习的核心问题就是一个非常难的优化问题。所以在神经网络引入后的几十年间，深度神经网络的优化问题的困难性是阻碍它们成为主流的一个重要因素。并导致了它们在20世纪90年代到21世纪初期间的衰落。不过现在已经基本解决了这个问题。在本篇博文中，我会探讨优化神经网络的“困难性”，以及理论上是怎么解释这个问题的。简而言之：神经网络变得越深，优化问题就会变得越难。

最简单的神经网络是单节点感知器，其优化问题是凸问题。凸优化问题的好处是所有的局部最小值也是全局最小值。存在各种各样的优化算法来解决凸优化问题，并且每隔几年就会发现更好的用于凸优化的多项式时间的算法。使用凸优化算法可以轻松地优化单个神经元的权重（参见下图）。下面让我们看看扩展一个单神经元后会发生什么。

图1 左图：一个凸函数。右图：一个非凸函数。凸函数比非凸函数更容易找到函数曲面的底部

微信关注我们

原文链接：https://yq.aliyun.com/articles/83456

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

演讲实录丨朱珑开启人工智能之眼

开启人工智能之眼朱珑依图科技CEO、计算机视觉专家朱珑：非常感谢张老师和白老师邀请，让我们这些青年人有机会在这里聚一聚。今天讲一下AI一些自己的理解，可能跟大部分人身份稍微有一些区别，我大概从事这方面学术上研究将近十多年时间，前面几年开始做创业，可以从两个行业纬度谈一谈之间相关性。不知道我们在国内怎么谈创业？在美国有一个创业或者硅谷有一个创业基本定义，中国创业在美国是有两个词，极不确定性情况下追求高速增长。这两个词推出什么不是创业？比如说我们在国贸这里开一家咖啡厅，这不是创业，这是一门生意，但是很难做到高速增长。什么是创业？我要开1000家咖啡厅，这个叫创业。还有对不确定性理解，如果我们在大公司开一个部门做一个方向性探索，或者说拓宽一个市场，这个比较不像创业，因为没有极强的不确定性，无论品牌、人员等等这些东西。一个极不确定性，一个超高速增长，这两个本质什么？就是风险。风险这个词恰恰把最牛的创业，和最牛的学术研究关联起来。创业是追求非常短时间的高速增长，所以它是短时间内的创业，大概7到9年的时间，这是有一个结论或者结果。学术圈可能追求2到30年的结论，更追求回报。这种周...

2017-05-23

405

本节书摘来自异步社区《TensorFlow技术解析与实战》一书中的第1章，第1.1节，作者李嘉璇，更多章节内容可以访问云栖社区“异步社区”公众号查看。第一篇　基础篇著名历史学家斯塔夫里阿诺斯在《全球通史》中，曾以15世纪的航海在“物理上”连通“各大洲”作为标志将人类历史划分为两个阶段。在我正在写作的《互联网通史》中，我把互联网这个“信息上”连通“人类个体”的物件作为划分人类历史的标志。而随着人工智能最近的崛起，我们又该思考重新划分了，因为人工智能将会在“信息上”连通“各个物体”。到那时各个物体都有“智能”，如智能汽车、智能电视、扫地机器人、智能音响等智能家居，想象极度的智能下，屋子里的电器和家居都可能和我们有简单的交互。深度学习领域之所以异军突起，是因为传统的研发思维，如架构、组件化、大规模并发、存储与计算等，已经是技术红海了，而每位工程师都应该学习机器学习，是因为它带给工程师全新的开发思维，工程师可以用自己的代码让机器更加“聪明”。第1章　人工智能概述 TensorFlow技术解析与实战有人说，人工智能在世界范围的流行，是因为那盘围棋。2016年3月，谷歌公司的AlphaG...

2017-05-23

694

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。