深度学习入门笔记系列 ( 七 ) ——循环神经网络（RNN）学习笔记
1.引言 在传统的神经网络模型中 ，是从输入层到隐含层再到输出层 ，层与层之间是全连接的 ，每层之间的节点是无连接的 。但是这种普通的神经网络对于很多问题却无能无力 。例如 ，你要预测句子的下一个单词是什么 ，一般需要用到前面的单词 ，因为一个句子中前后单词并不是独立的 。于是乎 ，我们就名正言顺的引出了这篇文章的 RNN 。 2.什么是RNN RNN（Recurrent Neural Networks）翻译为循环神经网路 ，与传统神经网络模型对比 ，RNN 一个序列当前的输出与前面的输出也有关 。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中 。重点的讲就是 ，隐藏层之间的节点之间是有连接的 ，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出 。 例如上图 ，中间A表示隐含层 ，能够看出来从左到右的序列中 ，隐含层输入不仅包括输入层还有上一个序列的隐含层输出 。 3.RNN 能干些啥 理论上 ，RNN 能够对任何长度的序列数据进行处理 。但是在实践中 ，为了降低复杂性往往假设当前的状态只与前面的几个状态相关 ，下图便是一个典型的RNN ： 坦白讲 ，...
