【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章训练深层神经网络（上）-低调大师

【翻译】Sklearn 与 TensorFlow 机器学习实用指南 —— 第11章训练深层神经网络（上）

2019-02-13 644

第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。但它是一个非常浅的 DNN，只有两个隐藏层。如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？你可能需要训练更深的 DNN，也许有 10 层，每层包含数百个神经元，通过数十万个连接来连接。这不会是闲庭信步：

d47e62d2b349aca45e42305ed6714efbe5ed61d9

首先，你将面临棘手的梯度消失问题（或相关的梯度爆炸问题），这会影响深度神经网络，并使较低层难以训练。

其次，对于如此庞大的网络，训练将非常缓慢。

第三，具有数百万参数的模型将会有严重的过拟合训练集的风险。

在本章中，我们将依次讨论这些问题，并提出解决问题的技巧。我们将从解释梯度消失问题开始，并探讨解决这个问题的一些最流行的解决方案。接下来我们将看看各种优化器，与普通梯度下降相比，它们可以加速大型模型的训练。最后，我们将浏览一

微信关注我们

原文链接：https://yq.aliyun.com/articles/690252

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

想要成为python大神吗，这17个老司机收藏的国外免费学习网站不可错过哟！

前言1.用Python编写代码一点也不困难。事实上，它一直被称赞为最容易学习的编程语言。如果你想学习Web开发，python是一个很好的开始，即使你想玩游戏，也有很多资源可以用python开发游戏。许多程序员从Python开始他们的编程之旅，接着是PHP和Ruby等语言。它也是最流行的Web开发语言之一，强烈推荐学习。但是，Python应该如何学习呢？我们从哪里开始？小庞今天来帮你解决这个问题，因为我在学习编程和开始开发的时候，这里有很多资源。开始学习可能会让人沮丧，但是一旦我们学习了基础知识，你就会自然而然地知道不用思考该做什么。2、Learn Python The Hard Way（https://learnpythonthehardway.org/）这本书绝对是学习Python最简单的方法。你会被如此简单的基础学习感到震惊，真实地感受到自己的学习历程，一步一步地获取新的知识。我也感到它非常鼓励学习者去尝试并创造出自己的程序。代码可能会很少，但是它们肯定会有助于你更好的理解语言本身和语法。Python非常的流行，所以当你遇到了问题时，在类似Stack Exchange这样...

2019-02-14

634

并行运行当 TensorFlow 运行图时，它首先找出需要求值的节点列表，然后计算每个节点有多少依赖关系。然后 TensorFlow 开始求值具有零依赖关系的节点（即源节点）。如果这些节点被放置在不同的设备上，它们显然会被并行求值。如果它们放在同一个设备上，它们将在不同的线程中进行求值，因此它们也可以并行运行（在单独的 GPU 线程或 CPU 内核中）。 TensorFlow 管理每个设备上的线程池以并行化操作（参见图 12-5）。这些被称为 inter-op 线程池。有些操作具有多线程内核：它们可以使用其他线程池（每个设备一个）称为 intra-op 线程池（下面写成内部线程池）。 <p style="text-align:center">![image](https://yqfile.alicdn.com/d

2019-02-14

623

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。