深度学习(9)：循环神经网络

2018-03-27 1173

深度学习(9)：循环神经网络

2018-02-20

随深度学习技术的发展，使用循环神经网络（Recurrent Neural Network，RNN）建立的各种序列模型，使语音识别、机器翻译及自然语言理解等应用成为可能。

表示与类型

自然语言、音频等数据都是前后相互关联的数据，比如理解一句话要通过一整句而不是其中的几个词，分析一段音频要通过连续的片段而不是其中的几帧。前面所学的DNN以及CNN处理的都是前后毫无关联的一个个单独数据，对于这些序列数据则需要采用RNN进行处理。

用循环神经网络处理时间序列时，首先要对时间序列进行标记化。对一个序列数据x，用符号x⟨t⟩来表示这个序列数据中的第t个元素。这个元素的类型因数据类型而异，对一段音频，它可能其中的几帧，对一句话，它可能是一个或几个单词，如下图所示。

第i个序列数据的第t个元素用符号x(i)⟨t⟩表示，其标签用符号y(i)⟨t⟩表示。

序列中的每个元素有相应的标签，一般需要先建立一个包含序列中所有类型的元素的字典（Dictionary）。例如对上图中的句子，建立一个含有10000个单词的列向量词典，单词顺序以A~Z排列，然后根据单词在列向量中的位置，用one—hot向量来表示该单词的标签，部分表示如下图：

标记化完成后，将训练数据输入网络中。一种循环神经网络的结构如下图：

左边的网络可简单表示为右图的结构，其中元素x⟨t⟩输入对应时间步（TIme Step）的隐藏层的同时，该隐藏层也会接收上一时间步的隐藏层激活a⟨t−1⟩，其中a⟨0⟩一般直接初始化为零向量。一个时间步输出一个对应的预测结果y^⟨t⟩，输入、激活、输出有对应的参数Wax、Waa、Wy。

以上结构的前向传播过程，有：

a ⟨ 0 ⟩ = 0 ⃗

a ⟨ t ⟩ = g 1 (W a a a ⟨ t - 1 ⟩ + W a x x ⟨ t ⟩ + b a)

y^⟨ t ⟩ = g 2 (W y a ⟨ t ⟩ + b y)

其中ba、by是两个偏差参数，激活函数g1通常选择tanh，有时也用ReLU，g2的选择取决于需要的输出类型，可选sigmoid或Softmax。

具体计算中以上的式子还可以进一步简化，以方便运算。将Wax和Waa堆叠成一个矩阵Wa，a⟨t−1⟩和x⟨t⟩也堆叠成一个矩阵，有：

W a = [W a x, W a a]

a ⟨ t ⟩ = g 1 (W a [a ⟨ t - 1 ⟩, x ⟨ t ⟩] + b a)

反向传播的过程类似于深度神经网络，如下图所示：

这种结构的一个缺陷是，某一时刻的预测结果仅使用了该时刻之前输入的序列信息。根据所需的输入及输出数量，循环神经网络可分为“一对一”、“多对一”、“多对多”等结构：

这些网络结构可在不同的领域中得到应用。

RNN应用：语言模型

语言模型（Language Model）是根据语言客观事实而进行的语言抽象数学建模。例如对一个语音识别系统，输入的一段语音可能表示下面两句话：

其中的“pair”和“pear”读音相近，但是在日常表达及语法上显然这段语音是第二句的可能性要大，要使这个语音识别系统能够准确判断出第二句话为正确结果，就需要语言模型的支持。这个语言模型能够分别计算出语音表示以上两句话的概率，以此为依据做出判断。

建立语言模型所采用的训练集是一个大型的语料库（Corpus）。建立过程中，如之前所述，需要先建立一个字典，之后将语料库中每个词表示为对应的one-hot向量。此外需要额外定义一个标记EOS（End Of Sentence）表示一个句子的结尾，也可以将其中的标点符号加入字典后也用one=hot向量表示。对于语料库中部分（英语）人名、地名等特殊的不包含在字典中的词汇，可在词典中加入再用一个UNK（Unique Token）标记来表示。

将标志化后的训练集输入网络中的训练过程，如下例所示：

第一个时间步中输入的a⟨0⟩和x⟨1⟩都是零向量，y^⟨1⟩是通过softmax预测出的字典中每一个词作为第一个词出现的概率；第二个时间步中输入的x⟨2⟩是下面的训练数据中第一个单词“cats”的标签y⟨1⟩和上一层的激活a⟨1⟩,输出的y⟨2⟩表示的是单词“cats”后面出现字典中的其他词，特别是“average”的条件概率。后面的时间步与第二步类似，到最后就可以得到整个句子出现的概率。

这样，损失函数将表示为：

L (y^⟨ t ⟩, y ⟨ t ⟩) = - \sum t y ⟨ t ⟩ i l o g y^⟨ t ⟩

成本函数表示为：

J = \sum t L ⟨ t ⟩ (y^⟨ t ⟩, y ⟨ t ⟩)

训练好一个这个语言模型后，可通过采样（Sample）新的序列，来了解这个模型中都学习到了一些什么。从模型中采样出新序列的过程如下：

第一个时间步中输入的a⟨0⟩和x⟨1⟩还是零向量，依据softmax预测出的字典中每一个词作为第一个词出现的概率，选取一个词y^⟨1⟩作为第二个时间步的输入。后面与此类似，模型将自动生成一些句子，从这些句子中可发现模型通过语料库学习到的知识。

以上是基于词汇构建的语言模型，也就是所用的字典中包含的是一个个单词。实际应用中，还可以构建基于字符的语言模型，不过这种方法的结果中将得到过多过长的序列，计算成本也较大，在当今的NLP领域也用得较少。

GRU与LSTM

如下图中的句子时，后面的动词用“was”还是“were”取决于前面的名词“cat”是单数还是复数。

一般的循环神经网络不擅于捕捉这种序列中存在的长期依赖关系，其中的原因是，一般的循环神经网络也会出现类似于深度神经网络中的梯度消失问题，而使后面输入的序列难以受到早先输入序列的影响。梯度爆炸的问题也会出现，不过可以采用梯度修剪（Gradient Clipping）应对，相比之下梯度消失问题更难以解决。

GRU

GRU（Gated Recurrent Units, 门控循环单元）网络改进了循环神经网络的隐藏层，从而使梯度消失的问题得到改善。GRU的结构如下图：

其中的c代表记忆细胞（Memory Cell），用它来“记住”类似前面例子中“cat”的单复数形式，且这里的记忆细胞c⟨t⟩直接等于输出的激活a⟨t⟩；c~代表下一个c的候选值；Γu代表更新门（Update Gate），用它来控制记忆细胞的更新与否。上述结构的具体表达式有：

c ~ ⟨ t ⟩ = tanh (W c [c ⟨ t - 1 ⟩, x ⟨ t ⟩] + b c)

Γ u = σ (W u [c ⟨ t - 1 ⟩, x ⟨ t ⟩] + b u)

c ⟨ t ⟩ = Γ u \times c ~ ⟨ t ⟩ + (1 - Γ u) \times c ⟨ t - 1 ⟩

a ⟨ t ⟩ = c ⟨ t ⟩

c~c~的计算中以tanh作为激活函数，使用simgoid作为激活函数得到的 ΓuΓu值将在0到1的范围内。当 Γu=1Γu=1时，输出的 cc值被更新为 c~c~，否者保持为输入的 cc值。

上面所述的是简化后的GRU，完整的GRU结构如下：

其中相关门（Relevance Gate）Γr表示上一个c值与下一个c的候选值的相关性。与简化的GRU相比，表达式发生如下变化：

Γ r = σ (W r [c ⟨ t - 1 ⟩, x ⟨ t ⟩] + b r)

c ~ ⟨ t ⟩ = tanh (W c [Γ r \times c ⟨ t - 1 ⟩, x ⟨ t ⟩] + b c)

GRU其实只是一种LSTM的流行变体，其相关概念来自于2014年Cho等人发表的论文 [On the properties of neural machine translation: Encoder-decoder approaches]以及Chung等人的 [Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling]。

LSTM

1997年Hochreiter和Schmidhuber共同在论文[Long short-term memory ]中提出的LSTM（Long Short Term Memory，长短期记忆）网络比GRU更加通用及强大，其结构如下：

相比之前的简化版GRU，LSTM中多了遗忘门（Forget Gate）Γf和输出门（Output Gate）Γo，具体表达式如下：

c ~ ⟨ t ⟩ = tanh (W c [a ⟨ t - 1 ⟩, x ⟨ t ⟩] + b c)

Γ u = σ (W u [a ⟨ t - 1 ⟩, x ⟨ t ⟩] + b u)

Γ f = σ (W f [a ⟨ t - 1 ⟩, x ⟨ t ⟩] + b f)

Γ o = σ (W o [a ⟨ t - 1 ⟩, x ⟨ t ⟩] + b o)

c ⟨ t ⟩ = Γ ⟨ t ⟩ f \times c ⟨ t - 1 ⟩ + Γ ⟨ t ⟩ u \times c ~ ⟨ t ⟩

a ⟨ t ⟩ = Γ ⟨ t ⟩ o \times tanh (c ⟨ t ⟩)

更为常用的LSTM版本中，几个门值的计算不只取决于输入x和a值，有时也可以偷窥上一个细胞输入的c值，这叫窥视孔连接（Peephole Connection)。

多个LSTM单元连接在一起，形成一个LSTM网络：

BRNN与DRNN

前面介绍的循环神经网络在结构上都是单向的，也提到过它们具有某一时刻的预测结果仅使用了该时刻之前输入的序列信息的缺陷，而双向循环神经网络（Bidirectional RNN）弥补了这一缺陷。BRNN的结构图如下所示：

此外，循环神经网络的每个时间步上也可以包含多个隐藏层，形成深度循环神经网络（Deep RNN)，如下图：

参考资料

吴恩达-序列模型-网易云课堂
Andrew Ng-Sequence Model-Coursera
deeplearning.ai
零基础入门深度学习-循环神经网络
课程代码与资料-GitHub

注：本文涉及的图片及资料均整理翻译自Andrew Ng的Deep Learning系列课程，版权归其所有。翻译整理水平有限，如有不妥的地方欢迎指出。

微信关注我们

原文链接：https://yq.aliyun.com/articles/572486

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

零售行业的人工智能时代即将开始

今年上半年，各地一些零售商开始在门店中安装市场上一种新奇的人工智能产品——“人脸识别”系统，来统计真实的人流。近年来，无论是线下传统零售业还是线上电商都面临着不小的发展困境。降低成本、保持利润增长、寻求创新的发展路径一直是零售业追求的目标。对于风雨飘摇中的传统零售业而言，人工智能（AI）可能也会超乎想象地加速行业的重新洗牌。作为近年来最火热的词之一，人工智能与传统零售业的结合还鲜少听闻，但改变已经悄然开始，诸如“人脸识别”之类的技术正在颠覆零售的渠道。据了解，人工智能一般分为运算智能、感知智能、认知智能等阶段，而后者往往比前者智能程度更高。在中国互联网公司中，腾讯、阿里巴巴、网易等已经纷纷将人工智能作为下一个关键的风口进行布局。在人工智能领域中，语音和视觉识别技术占了大头。2016年，艾瑞咨询预测，语音和视觉识别技术分别占中国人工智能市场的60%和12.5%。此外，2020年，中国人工智能市场将从2015年的12亿元增长至91亿元。过去一年，人机大战不断上演，柯洁大战AlphaGo以落败告终，令人工智能再度升温。对于人工智能产业来说，2017年也是一个重要的历史节点。在技术突...

2018-03-28

438

联想之星在人工智能领域总共投资了62个项目，其中29个是海外项目，其投资分布在10大行业：智能消费与服务、智能出行、智能金融与大数据、智能医疗、智能家居及IoT、智能安防、智能物流、智能教育、智能农业、智能航天与前沿科技。联想之星在人工智能领域总共投资了62个项目，其中29个是海外项目，其投资分布在10大行业：智能消费与服务、智能出行、智能金融与大数据、智能医疗、智能家居及IoT、智能安防、智能物流、智能教育、智能农业、智能航天与前沿科技。以上是联想之星总经理、主管合伙人王明耀对联想之星在人工智能领域投资组合的首次披露，系统阐释了联想之星在人工智能领域的投资布局。5月25日，在联想之星未来之旅之「人工智能」暨Comet Labs智能交通实验室中国推介会上，王明耀发表了主题为《联想之星人工智能投资布局》的演讲。以下为演讲全文：联想之星已经从事投资、孵化很多年，而今的投资策略和方向也逐渐清晰和聚焦。2010年，联想之星开始系统做投资，当时我们就具备一定的技术偏好，而当初的技术偏好发展至今逐渐变为投资风口。因此，我们在人工智能领域的投资既有过去的积累，也有当下的新看法。正如之前的“...

2018-03-28

440

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。