循环神经网络(RNN)模型与前向反向传播算法

2017-11-29 516

在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别以及机器翻译等领域。

1. RNN概述

　　　　在前面讲到的DNN和CNN中，训练样本的输入和输出是比较的确定的。但是有一类问题DNN和CNN不好解决，就是训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。

　　　　而对于这类问题，RNN则比较的擅长。那么RNN是怎么做到的呢？RNN假设我们的样本是基于序列的。比如是从序列索引1到序列索引τ的。对于这其中的任意序列索引号t,它对应的输入是对应的样本序列中的x(t)。而模型在序列索引号t位置的隐藏状态h(t)，则由x(t)和在t−1位置的隐藏状态h(t−1)共同决定。在任意序列索引号t，我们也有对应的模型预测输出o(t)。通过预测输出o(t)和训练序列真实输出y(t),以及损失函数L(t)，我们就可以用DNN类似的方法来训练模型，接着用来预测测试序列中的一些位置的输出。

　　　　下面我们来看看RNN的模型。

2. RNN模型

　　　　RNN模型有比较多的变种，这里介绍最主流的RNN模型结构如下：

　　　　上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。

　　　　这幅图描述了在序列索引号t附近RNN的模型。其中：

　　　　1）x(t)代表在序列索引号t时训练样本的输入。同样的，x(t−1)和x(t+1)代表在序列索引号t−1和t+1时训练样本的输入。

　　　　2）h(t)代表在序列索引号t时模型的隐藏状态。h(t)由x(t)和h(t−1)共同决定。

　　　　3）o(t)代表在序列索引号t时模型的输出。o(t)只由模型当前的隐藏状态h(t)决定。

　　　　4）L(t)代表在序列索引号t时模型的损失函数。

　　　　5）y(t)代表在序列索引号t时训练样本序列的真实输出。

　　　　6）U,W,V这三个矩阵是我们的模型的线性关系参数，它在整个RNN网络中是共享的，这点和DNN很不相同。也正因为是共享了，它体现了RNN的模型的“循环反馈”的思想。　　

3. RNN前向传播算法

　　　　有了上面的模型，RNN的前向传播算法就很容易得到了。

　　　　对于任意一个序列索引号t，我们隐藏状态h(t)由x(t)和h(t−1)得到：

h (t) = σ (z (t)) = σ (U x (t) + W h (t - 1) + b)

　　　　其中σ为RNN的激活函数，一般为tanh, b为线性关系的偏倚。

　　　　序列索引号t时模型的输出o(t)的表达式比较简单：

o (t) = V h (t) + c

　　　　在最终在序列索引号t时我们的预测输出为:

y^(t) = σ (o (t))

　　　　通常由于RNN是识别类的分类模型，所以上面这个激活函数一般是softmax。

　　　　通过损失函数L(t)，比如对数似然损失函数，我们可以量化模型在当前位置的损失，即y^(t)和y(t)的差距。

4. RNN反向传播算法推导

　　　　有了RNN前向传播算法的基础，就容易推导出RNN反向传播算法的流程了。RNN反向传播算法的思路和DNN是一样的，即通过梯度下降法一轮轮的迭代，得到合适的RNN模型参数U,W,V,b,c。由于我们是基于时间反向传播，所以RNN的反向传播有时也叫做BPTT(back-propagation through time)。当然这里的BPTT和DNN也有很大的不同点，即这里所有的U,W,V,b,c在序列的各个位置是共享的，反向传播时我们更新的是相同的参数。

　　　　为了简化描述，这里的损失函数我们为对数损失函数，输出的激活函数为softmax函数，隐藏层的激活函数为tanh函数。

　　　　对于RNN，由于我们在序列的每个位置都有损失函数，因此最终的损失L为：

L = \sum t = 1 τ L (t)

　　　　其中V,c,的梯度计算是比较简单的：

\partial L \partial c = \sum t = 1 τ \partial L ( t ) \partial c = \sum t = 1 τ \partial L ( t ) \partial o ( t ) \partial o ( t ) \partial c = \sum t = 1 τ y^(t) - y (t)

\partial L \partial V = \sum t = 1 τ \partial L ( t ) \partial V = \sum t = 1 τ \partial L ( t ) \partial o ( t ) \partial o ( t ) \partial V = \sum t = 1 τ (y^(t) - y (t)) (h (t)) T

　　　　但是W,U,b的梯度计算就比较的复杂了。从RNN的模型可以看出，在反向传播时，在在某一序列位置t的梯度损失由当前位置的输出对应的梯度损失和序列索引位置t+1时的梯度损失两部分共同决定。对于W在某一序列位置t的梯度损失需要反向传播一步步的计算。我们定义序列索引t位置的隐藏状态的梯度为：

δ (t) = \partial L \partial h ( t )

　　　　这样我们可以像DNN一样从δ(t+1)递推δ(t) 。

δ (t) = \partial L \partial o ( t ) \partial o ( t ) \partial h ( t ) + \partial L \partial h ( t + 1 ) \partial h ( t + 1 ) \partial h ( t ) = V T (y^(t) - y (t)) + W T δ (t + 1) d i a g (1 - (h (t + 1)) 2)

　　　　对于δ(τ)，由于它的后面没有其他的序列索引了，因此有：

δ (τ) = \partial L \partial o ( τ ) \partial o ( τ ) \partial h ( τ ) = V T (y^(τ) - y (τ))

　　　　有了δ(t),计算W,U,b就容易了，这里给出W,U,b的梯度计算表达式：

\partial L \partial W = \sum t = 1 τ \partial L \partial h ( t ) \partial h ( t ) \partial W = \sum t = 1 τ d i a g (1 - (h (t)) 2) δ (t) (h (t - 1)) T

\partial L \partial b = \sum t = 1 τ \partial L \partial h ( t ) \partial h ( t ) \partial b = \sum t = 1 τ d i a g (1 - (h (t)) 2) δ (t)

\partial L \partial U = \sum t = 1 τ \partial L \partial h ( t ) \partial h ( t ) \partial U = \sum t = 1 τ d i a g (1 - (h (t)) 2) δ (t) (x (t)) T

　　　　除了梯度表达式不同，RNN的反向传播算法和DNN区别不大，因此这里就不再重复总结了。

5. RNN小结

　　　　上面总结了通用的RNN模型和前向反向传播算法。当然，有些RNN模型会有些不同，自然前向反向传播的公式会有些不一样，但是原理基本类似。

　　　　RNN虽然理论上可以很漂亮的解决序列数据的训练，但是它也像DNN一样有梯度消失时的问题，当序列很长的时候问题尤其严重。因此，上面的RNN模型一般不能直接用于应用领域。在语音识别，手写书别以及机器翻译等NLP领域实际应用比较广泛的是基于RNN模型的一个特例LSTM，下一篇我们就来讨论LSTM模型。

本文转自刘建平Pinard博客园博客，原文链接：http://www.cnblogs.com/pinard/p/6509630.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/373426

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【天池直播】图像系列直播第一讲--带你入坑深度学习

天池医疗AI大赛以“人工智能辅助医疗决策”为主题，围绕全球第一高发恶性肿瘤——肺癌，以肺部小结节病变的智能识别、诊断为课题，通过胸部CT影像（mhd格式），检测CT影像中的肺部结节区域。大赛通过探索早期肺癌精确智能诊断的优秀算法，提升早期肺癌检测的准确度，降低临床上常见的假阳性的误诊发生，实现“早发现，早诊断，早治疗”，从而挽救更多患者生命。本次邀请医疗AI大赛人气奖冠军带来肺部结节智能诊断的比赛分享。人气冠军奖帖子《天池医疗AI大赛[第一季] 解决方案：适合新人的工程指南》分享链接：点击详情直播主题：肺部结节智能诊断比赛分享直播时间：11月30日 20：00 直播链接：点击查看直播嘉宾：马晖天池ID : 天雷无妄 2003 毕业于上海交通大学生物医学工程专业，目前就职于吉祥航空，从事战略规划和商业分析等。对未知领域有好奇，对

2017-11-30

692

编者：今年的INTERSPEECH于8月20日至24日在瑞典的斯德哥尔摩顺利召开，众多的高校研究机构和著名的公司纷纷在本次会议上介绍了各自最新的技术、系统和相关产品，而阿里巴巴集团作为钻石赞助商也派出了强大的阵容前往现场。从10月25日开始，阿里iDST语音团队和云栖社区将共同打造一系列语音技术分享会，旨在为大家分享INTERSPEECH2017会议上语音技术各个方面的进展。本期分享的主题是远场语音识别技术（完整视频传送门），以下是本次分享的主要内容： 1.语音识别技术简介 1.1 什么是语音识别语音识别（Automatic Speech Recognition，ASR）所要解决的问题是让计算机能够"听懂"人类的语音，将语音转化成文本。语音识别是实现智能的人机交互的前沿阵地，是完全机器翻译，自然语言理解等的前提条件。语音

2017-12-02

723

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。