作者介绍：Hazem，机器学习以及深度学习爱好者

Blog：https://thebeautyofml.wordpress.com/

当你实践机器学习方法的时候，我确信没有什么是比循环神经网络更让你激动的了。循环神经网络不仅是最强大，最成功的技术，它还是众多神经网络技术中最幸运的。尽管在大多数情况下，人们并不将之视为深度学习技术，今天我们介绍的研究仍然大量采用循环神经网络。循环神经网络的诞生要追溯到20世纪80年代，但是也就是随着深度学习技术的火爆，该技术才真正的蓬勃发展。

引言

在介绍循环神经网络的工作方式之前，我们先要明确几个概念。首先，循环神经网络是图灵完备的，这就意味着它可以模拟图灵机，也可以计算图灵机可以计算的算法。简单来说，循环神经网络有一块单独的内存，它的工作方式和图灵机用来输入输出的磁带一样。

我们想象一个无限长的纸带，我们称之为输入空间。在输入空间中的每一个点都看作是神经网络的输入。现在假设这些点沿着一个轴连接在一起（它们是水平线或垂直线），现在循环网络可以工作可以通过应用仿射变换，然后使用非线性激活函数（作为常规前馈网络）将线上的每个点作为输入，直到线结束为止。注意，这些点是彼此分离的。在每个点，循环网络应用输入的非线性变换计算隐藏激活神经元，因此对于网络来说想要知道当前点和下一个点之间的关系，它需要记住隐藏的激活神经元或循环的输出。如果空间中的输入是词向量，网络将映射当前词和前一个词到新的隐藏空间并组合它们两者。现在你可以看到，循环神经网络在时间轴上移动，循环网络现在可以计算在离散时间步长（例如，特定时间段内的温度度数）产生的输入。当然理论上来说，循环神经网络可以计算时间轴上任意的输入，哪怕在实际生活中也不会发生。我们关心的是时间轴上步长相同的行为，当然如果时间间隔太长我们也不会考虑。

根据Eric Yuan的博客，一个对输入序列进行操作的循环神经网络，阴影显示网络对新输入的敏感性，因为它们覆盖了网络从以前的时间步长存储的旧的隐藏激活神经元。 这个原理类似于一个学生接受新的知识的时候很容易忘记之前的知识。

神奇之处

现在你知道循环神经网络如何工作的了，那么神奇也就发生了。一个循环神经网络能够用一个简单的权重集来处理序列，这就意味着每次推进网络，你用的权重集都是同一个，这是和前馈神经网络最大的不同。你可以把每个输入点视为不同的需要不同的权重集的输入。 这称为参数共享，它是机器学习的一个非常重要的概念。 我们也可以在前馈网络中使用参数共享，但是前馈网络不会保持之前的隐藏激活神经元。

当然，你也可以把循环神经网络看作一个在循环中的前馈神经网络，并且每次它的输入是两个向量。在当前时间步长的输入和先前隐藏的激活神经元使用相同的权重。

工作原理

时间分离的输入或简单的时间序列进行都可以作为循环神经网络的输入。下面的公式描述了这个网络的数学模型：

公式中的 非常有趣，当通过反向传播算法学习时，它表示网络的存储器。控制着从先前的时间步长隐藏神经元应该传递什么。一个更加成熟的架构（被称为长期短期记忆）将分为许多参数，这样就能控制需要记住或者传递到下一个时间步长多少输入或者隐藏激活神经元。

更有趣的是，循环神经网络可以在时间 忘记隐藏激活神经元，当一个新的输入在t时刻被提交给了网络。这是因为是固定的，不随时间步长变化。该问题可以通过反向传播中的轻微修改和循环网络神经元结构的修改来解决。

循环神经网络可以学习分类序列，就像神经网络分类输入向量一样。考虑作为单词向量序列的自然语言句子，这些单词向量一个接一个地送到循环网络并产生作为最终输出的情感类别（正的，负的或中性的）。当然，您可以对每个输入向量进行分类，而不是对整个序列进行分类。循环神经网络可以输出序列，如在机器翻译的任务中，对于源语言中的每个词向量，网络可以精准输出目标语言中的单词。你可以看到，循环神经网络是处理自然语言时的选择很自然，因为我们处理的是词序列。

数十款阿里云产品限时折扣中，赶紧点击领劵开始云上实践吧！

以上为译文

本文由北邮@爱可可-爱生活 老师推荐，阿里云云栖社区组织翻译。

文章原标题《Computing Time Part (I): Recurrent Neural Networks》，作者：Hazem，译者：爱小乖，审校：6816816151。

文章为简译，更为详细的内容，请查看原文