【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章训练深层神经网络（上）-低调大师

【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章训练深层神经网络（上）

2019-02-13 627

第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。但它是一个非常浅的 DNN，只有两个隐藏层。如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？你可能需要训练更深的 DNN，也许有 10 层，每层包含数百个神经元，通过数十万个连接来连接。这不会是闲庭信步：

d47e62d2b349aca45e42305ed6714efbe5ed61d9

首先，你将面临棘手的梯度消失问题（或相关的梯度爆炸问题），这会影响深度神经网络，并使较低层难以训练。

其次，对于如此庞大的网络，训练将非常缓慢。

第三，具有数百万参数的模型将会有严重的过拟合训练集的风险。

在本章中，我们将依次讨论这些问题，并提出解决问题的技巧。我们将从解释梯度消失问题开始，并探讨解决这个问题的一些最流行的解决方案。接下来我们将看看各种优化器，与普通梯度下降相比，它们可以加速大型模型的训练。最后，我们将浏览一

微信关注我们

原文链接：https://yq.aliyun.com/articles/690252

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

想要成为python大神吗，这17个老司机收藏的国外免费学习网站不可错过哟！

前言1.用Python编写代码一点也不困难。事实上，它一直被称赞为最容易学习的编程语言。如果你想学习Web开发，python是一个很好的开始，即使你想玩游戏，也有很多资源可以用python开发游戏。许多程序员从Python开始他们的编程之旅，接着是PHP和Ruby等语言。它也是最流行的Web开发语言之一，强烈推荐学习。但是，Python应该如何学习呢？我们从哪里开始？小庞今天来帮你解决这个问题，因为我在学习编程和开始开发的时候，这里有很多资源。开始学习可能会让人沮丧，但是一旦我们学习了基础知识，你就会自然而然地知道不用思考该做什么。2、Learn Python The Hard Way（https://learnpythonthehardway.org/）这本书绝对是学习Python最简单的方法。你会被如此简单的基础学习感到震惊，真实地感受到自己的学习历程，一步一步地获取新的知识。我也感到它非常鼓励学习者去尝试并创造出自己的程序。代码可能会很少，但是它们肯定会有助于你更好的理解语言本身和语法。Python非常的流行，所以当你遇到了问题时，在类似Stack Exchange这样...

2019-02-14

618

并行运行当 TensorFlow 运行图时，它首先找出需要求值的节点列表，然后计算每个节点有多少依赖关系。然后 TensorFlow 开始求值具有零依赖关系的节点（即源节点）。如果这些节点被放置在不同的设备上，它们显然会被并行求值。如果它们放在同一个设备上，它们将在不同的线程中进行求值，因此它们也可以并行运行（在单独的 GPU 线程或 CPU 内核中）。 TensorFlow 管理每个设备上的线程池以并行化操作（参见图 12-5）。这些被称为 inter-op 线程池。有些操作具有多线程内核：它们可以使用其他线程池（每个设备一个）称为 intra-op 线程池（下面写成内部线程池）。 <p style="text-align:center">![image](https://yqfile.alicdn.com/d

2019-02-14

604

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。