首页 文章 精选 留言 我的

精选列表

搜索[远程通讯],共10000篇文章
优秀的个人博客,低调大师

JGroups 5.0 首个 alpha 版发布,经典 Java 组播通讯框架

JGroups 5.0 的首个 Alpha 版本已发布,此版本对 API 进行了重大变更。开发团队还透露在首个测试版发布之前,可能还会有更多的 API 变更。 下面了解一下 5.0 的新功能。 5.0 最大的变化是Message(消息)现在变成了接口,并提供了不少实现它的消息类,罗列几个如下: BytesMessage:这是旧的 4.x Message 类的替代方案,具有一个字节数组作为有效负载 ObjectMessage:支持接收一个对象作为有效负载 NioMessage:具有 NIO ByteBuffer 作为有效负载 EmptyMessage:这个类不包含负载,主要用于发送仅包括 header 的消息,例如心跳信息。JGroups 内部主要使用此类,它的内存占用量极低 CompositeMessage:用于携带其他消息的消息类型 这个变动的主要优点是使用了不同的消息类型,即不必像 4.x 消息中那样将有效载荷编组为字节数组,现在可以将有效载荷添加到消息中而无需进行编组,仅在网络中发送消息之前才进行编组。这种方式节省了一次内存分配。 另一个优点是应用程序可以注册自己的消息类型,这意味着我们可以控制消息的创建方式,例如使用堆外内存(off-heap memory)而不是堆内存。 其他值得注意的变更包括: 移除了许多繁琐的东西,例如一些AuthToken 实现:SASL, S3_PING 和 GOOGLE_PING (现在有了更好的替代方案) 首个 Alpha 版本仍可在 Java 8 下运行,但 Java 11 将会是未来的基础,团队表示将会使用 Java 11 的特有语言特性 完整变更列表点此查看。 5.0 文档地址:http://www.jgroups.org/manual5/index.html

优秀的个人博客,低调大师

《中国人工智能学会通讯》——1.7 问句理解

1.7 问句理解 有了知识还不够,智能问答还需要理解人提出的问题,问题理解就是将自然语言转化为计算机可以理解的形式化语言。让计算机理解自然语言是非常困的,这也是自然语言处理技术的核心问题。解决这一问题有两种不同的思路。 第一种是语义解析方法 (semantic parsing)。这种方法符合人们的直觉,它将一个自然语言句子,按照特定的语法,解析成逻辑表达式,这些逻辑表达式可以容易地转变为知识库的查询语言,因为它们已经是没有歧义的表达语句。 研 究 人 员 设 计 了 很 多 方 法 来 完 成 这 样 的 转换[13-16] 。其中,比较常见的是利用组合范畴语法Combinatory Categorical Grammars (CCG) [13, 17] 。CCG 的核心是词汇,将自然语言的词汇映射到逻辑表达式的词汇。除了词汇之外,CCG 还有一系列的语法规则,按照这些规则将词汇组合起来,就得到了最终的逻辑表达式。 然而,在这类方法中起到至关重要作用的词汇一般都是人工生成的,这样的词汇缺乏领域适应性,如果问答系统从一个领域换到另外一个领域,就要重新生成一批特定词汇。自动学习这种词汇成为了研究的重点[16-18] 。另一方面,CCG有多种语法组合规则,有时,一个问句会有不同的解析方式,因此,如何选择正确的解析方式也成为一个问题,使用概率化的 CCG [19]可以解决这一问题。 第二种是基于信息检索的方法。这种方法避开了最难的自然语言理解部分,将语义解析问题转化为检索问题。首先,找到问句中所涉及到的知识库资源;然后,按一定的规则(可以是学习得到的规则),将这些资源组合成规范查询语言。这种方法相对来说比较简单易用,而且通常不用人工去设计词汇,所以适用于多个领域,相应的缺点是不如语义解析方法精确。 如 果 我 们 只 针 对 一 个 特 定 的 知 识 库( 例 如Freebase)来做简单的事实性问答,那么可以使用更加简单但效果明显的检索式方法[20] 。即先用命名实体识别工具得到问句中的主实体,然后再找出问句中所提问的关系,或者说属性。一般来说,命名实体识别这个步骤相对容易,因为一个实体的表示方式有限。而找到关系则更困难,因为自然语言描述同一关系的表达方式多种多样。例如,中文里表达“配偶”这一关系的说法就有妻子、丈夫、结婚等等多种说法,因此重点就是找到问句所询问的关系。好在知识库中和某一实体相关的关系数量是有限的,可以排除很多无关的关系。在 Freebase这样的知识库问答中,这种方法是很有优势的。当然,这种方法的缺点也明显,就是无法处理复杂的问句。 受其启发,近年来有很多工作利用神经网络的方法继续对其进行了改进。文献 [21] 使用了卷积神经网络来映射关系。值得一提的是,最近的一些工作[22-23]更进一步地利用端到端的方法,直接将问句和最终的答案做匹配,络在其中起到了重要作用,并且这种方法也取得了不俗的效果。 综上,问句理解是问答系统中最核心的环节,因为正是这个过程将人类的自然语言转化为计算机可以处理的形式。这种困难不只是智能问答所需要克服的,而是整个人工智能领域所面对的共同难题。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——3.11 观点层

3.11 观点层 社会媒体数据的开放性,吸引了很多的研究人员进行观点分析的相关研究。Kouloumpis 等[3]权衡了推特数据中存在的话题标签,以此来构建训练数据,并且也证明了词性特征可能对推特数据的情感分析是没有任何用处的。Mehta 等[4]使用推特数据作为情感分析的语料库,追踪了某品牌活动在社交网络中的影响。此外,数据可视化是情感分析的一个重要人机交互(HCI)手段,如图 1 所示,我们研究并构建“流图(river graph)”来可视化社会媒体中特定话题观点的强度和变化趋势[5] 。通过有效的人机交互,首先计算机完成擅长的大规模数据统计、归类和布局;接下来人们可以高效地进行所擅长的识别、推演和决策等工作。观点分析方面有很多技术可以利用传统文档的情感分析技术,但在此基础上又有诸如话题标签、表情符、时效性、动态演化等社会媒体的特点。 社会媒体中包含了一大类,如推特微博、社交网络朋友分享和评论等,缺少总体打分、评级等机制的“自由文本”。这些文本数量大,又是不可被忽略的。这就为有监督的情感分析模型带来了人工标注数据的大量费用和时间代价,增加了情感分析的成本,降低了分析效率。此外,在带有评分机制的平台上,不同用户打分所代表的程度也会有差异。喜欢打高分的用户,在 5 分制平台中打 3 分,可能就意味着负面评价;喜欢打低分的用户,3 分则可能是比较不错的评价。这种差异也带来了直接利用评分判断大众观点做法的可靠性问题。因此,如何利用大量无监督数据或者利用少量标注数据进行有效的情感分类,成为情感分析在社会媒体环境下需要着重强调的研究任务。 在无需人工标注的方法中,Turney [6] 曾提出过一种有效的无监督学习算法 PMI-IR,基于搜索引擎的共现检索,以此来计算一个情感词的权重,并以此做简单统计,判断文档的情感。该方法适用于情感比较稳定的情感词,即与领域和话题无关,并对文档进行粗略的判断。Go 等[7]提出一种弱监督的学习方法,在推特数据中使用有噪音的表情符号作为情感标注,训练情感分类模型。另一方面,半监督学习模型能够利用大量的无监督数据来改善标注数据稀缺情况下的分类精度。S3VM(Semi-supervised Support Vector Machines) 就是一种成熟的自训练(self-training)技术。如果情感特征能够划分为独立的两个视图,协同训练(co-training)的半监督框架能进一步提高学习效果。除了这两种需要特征工程的框架外,直接端到端的深度学习方法也被研究者所青睐。文献 [8] 在 RAE(RecursiveAutoencoders)的无监督自编码单元中加入少量的情感标注信息,同时优化重构误差和交叉熵误差,实现半监督的情感分类。Zhai 等[9]指出,情感分类文本中词的表达学习不应只重点考虑高频词的重构误差。因此,利用一部分标注数据学习词的权重,并在大量无标注数据中学习词表达,使权重越高的词,重构误差越小,最后达到利用学习到的表达优化情感分类的目的。此外,利用其他自然语言处理任务的标注数据,如词性标注(POS)、短语分词(chunking)、命名实体识别(NER),并结合无监督的自编码,可以通过多任务学习(multi-tasklearning)来改进情感分类。这在统一自然语言处理的深度神经网络模型[10]中得到了验证。 情感分析的另一大挑战是情感分类模型与训练的话题领域有很强的依赖,即在某个话题的标注数据训练的分类器,在其他话题上可能表现得很差。其本质原因在于不同目标话题讨论、表达观点使用的词,甚至句式可能是有很大不同的。例如,“时间长”在“手机电池续航时间”和“相机聚焦时间”情景下,表达的观点完全相反。对于像推特、朋友分享和评论这样的“自由文本”,其中的话题讨论更加自由、多样并不可预知。这样不同话题标注数据又无法直接利用,需要对每一个差异的话题重新标注数据,使得本来就面临人工标注稀缺的情感分析模型雪上加霜。因此,话题自适应或跨领域情感分类任务是社会媒体环境下更具有挑战和亟待解决的问题。 幸运的是,过去的几年里跨领域(话题)的情感分类在很多特定应用场景,研究提出了有效的解决方法。Blitzer 等[11]曾提出结构一致学习方法SCL(Structural correspondence learning), 将转轴特征(pivot features)用于连接源话题和目标话题领域,通过转轴特征训练模型,发现跨领域的特征相关性,扩展引入目标话题的特征向量,并最小化跨领域转变的相关性错误。谱特征对齐算法SFA(Spectral feature alignment) [12] 和 跨 领 域话题索引 CDTI(cross-domain topic indexing)[13] ,分别在谱特征、概率的隐式主题空间上通过映射关系的学习,从语义层来桥接不同领域。由于跨领域的关键是话题相关的情感词典,因此 Li 等[14]提出了一种领域自适应框架,实现跨领域的情感与话题词典的共现抽取。由于可以借助已有很多其他领域的标记数据,该方法可以不用任何目标领域的标记数据。以上提到的以及很多未提及的研究都利用了充足的标注数据和特征,预先构造出跨领域情感分类的“桥梁”,实现情感分类模型从源话题训练后到目标话题的转变。 Chen 等[15]提出结合半监督的手段,包括自训练和协同训练,实现话题自适应。该方法基于皮尔逊相关系数(PCC)优化两个领域语料特征分布的兼容误差,通过规范化项鼓励分类器尽量选择在两话题领域表现相近的特征。然而话题自适应情感分类,往往除了一部分表现相近的特征外,还有相当数量的话题独有的情感词特征,甚至共有但观点相反的,这些特征反而至关重要。因此,我们提出一种新的、可操作性强的话题自适应情感分类模型TASC [16] 。它利用所有话题中表现相近的情感特征(公共情感词),以及不分话题的少量标注数据,学习初始的通用情感分类器。然后在目标话题的未标注数据上,将与其依赖的情感特征(话题相关情感词)作为待选择和学习的参数,进行半监督的话题自适应情感分类。文献 [17] 随后通过分析社会媒体中用户、网络关系属性等对情感观点的影响,改进 TASC 模型,结果如图 2 所示;以及考虑到社会媒体话题的动态演变特性,在原有模型基础上设计了随时间线动态自适应分类的框架(TASC-t)。除此之外,Glorot 等[18]提出从含有很多话题的无监督语料中深度学习(堆叠的降噪自编码器 SDA)得到的表达,然后通过线性分类模型在源话题的标注数据上学习后,可以天然地自适应到目标话题。随后,Chen 等[19]在边缘化的降噪自编码器 mSDA上得到了相同的结论,并且模型复杂度更低。 情感词表达的观点除了与目标话题相关外,在不同用户的表达中也会有差别。例如,有的用户说good,其实是表达“just-so-so”,而有的则是表达“excellent”。为此我们提出一个新的、考虑用户 -物品的有监督话题模型(SUIT)进行情感分析[20] 。该模型通过张量积同时考虑评论内容、用户、物品等因素在隐式空间对于观点极性的作用。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——10.26 相关工作

10.26 相关工作 在这部分我们回顾了相关文献。文献 [11] 提出了一种基于 3D morphable 模型的方法来计算形状和纹理信息,用来匹配带有姿态和光照变化的人脸。Ho et al [1] 运用马尔科夫随机场提出了一种姿态鲁棒的人脸识别算法。文献 [12] 提出一种基于概率模型的方法,它可以通过考虑不同视图人脸局部部分去建模人脸表面变化。Castillo et al [2] 提出一种基于窗口的密度立体匹配法,它可以解决大幅度姿态的变化。Chai et al [4] 提出一种姿态鲁棒的人脸识别方法,它主要是通过使用基于局部图片的矫正。在他们的方法中,通过所给的非正面图来虚拟出正面图片,主要是通过估计非正面图与正面图之间的转换矩阵。在文献 [13] 中,一种基于集论特征的方法被提出,它主要是解决由于模糊、姿态及光照的退化问题。文献 [14] 提出了一种处理不同姿态的姿态归一化方法。在文献 [15] 中,一种基于度量学习的方法被提出,它主要是通过正负对信息学习到具有一个具有识别力的潜在的空间。Zhu et al [16] 提出一种转换子空间学习法,它通过匹配 NIR-VIS 人脸图片作为多样化人脸匹配任务。Lu et al [17] 提出一种对于亲密关系核实的相邻击退度量学习法。一种基于高斯混合模型和凸优化度量的学习法在文献 [18] 中被提出。 文献 [19] 提出了涉及低分辨率人脸识别所出现挑战的一些细节的讨论。Baker et al [20] 提出了一种人脸识别法,它主要是对正面人脸图片学习分辨率增强函数。Nishiyama et al [21] 提出了一种基于聚类的人脸识别算法,它主要是用于识别模糊的人脸。Zou et al [22] 解决了识别低分辨率人脸图片的问题,它通过在训练过程中,学习高分辨率训练图片与低分辨测试图片之间的空间关系;通过使用线性回归并且施加不同的约束来学习这种关系;并且为了机器识别的目的提出了一种判别约束。文献 [23-24]提出一种耦合映射学习方法,通过把低分辨率测试图片和高分辨率训练图片投影到一个统一的潜在空间来提高人脸识别精度。 参考人脸的概念与文献 [25] 中提到的相似分类法相关,带有一些参考人脸,它可以测得所给人脸的相似性。在文献 [25] 中,测试图片人脸部分被分类为相似与参考图片中的其中一个。然而在本文提到的方法中,测试图片和训练图片的相关距离被用作特征表示。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——1.34 应 用

1.34 应 用 自然语言处理的应用非常广泛,这里我们主要回顾下文本匹配、机器翻译、问答系统和自动文摘这四个比较有代表性的应用领域。 (1)文本匹配文本匹配是计算给定两个文本序列的相关度。自然语言处理的很多任务可以归结为文本匹配任务,比如文本检索、文本蕴涵、问答对匹配等。Hu 等人[14]提出了两种基于卷积神经网络的文本匹配模型。一种是分别建模两个句子,得到句子编码。然后将两个句子编码输入给多层感知器来计算它们的相似度。另一种是将两个句子拼成一个矩阵,每一个矩阵元素是对应的两个句子中相应位置上词嵌入拼接而成的向量。然后利用两维卷积网络来建模相关性。Qiu 等人[17]利用动态卷积神经网络来建模句子编码,并利用张量神经网络来更加有效地建模它们之间的关系。Wan 等人[18]利用双向 LSTM 模型来分别建模两个句子,再按不同位置上双向 LSTM 的输出建立一个相似度矩阵,然后通过一个子采样层输入给多层感知器来建模相关度。这些方法都是采用端到端的训练方法,非常有利于模型的优化。 (2)机器翻译早期的基于神经网络的机器翻译系统是在传统模型中引入深度学习模型作为辅助特征。比较有代表性的是,Devlin 等人[19]将神经网络语言模型引入到传统机器翻译框架的解码过程,并取得了 3 个 BLEU 值的提升。该工作也得到了 2014 年 ACL 的最佳论文奖。之后,越来越多的研究者开始采用端到端的深度学习模型来进行机器翻译。Sutskever 等人[20]采用了单一神经网络架构的序列到序列模型。首先利用一个 LSTM模型来得到源语言的向量表示,然后再利用一个基于LSTM 的语言模型来生成目标语言。序列到序列的机器翻译模型如图 1 所示。ABC 为源语言,WXYZ 为目标语言。Bahdaau 等人[21]在序列到序列的机器翻译模型的基础上,在生成目标语言时,加入了注意力机制来自动学习目标词在源语言上的对齐词。Dong 等人[22]利用多任务学习方法来联合学习从一种源语言到多个目标语言的翻译模型。通过在一对多的序列到序列的机器翻译模型中共享源语言的表示,可以更有效地建模源语言端的编码模型。Meng 等人[23]利用神经图灵机[24]来建立一个深层的记忆神经网络,并取得了很好的翻译效果。不同层的记忆之间通过控制器和读写操作进行交互。 (3)自动问答自动问答是指给定一个背景语料库或一些事实,系统可以自动分析输入的问题,并利用语料库中的知识给出答案。传统的自动问答系统一般分为很多模块。每个模型分别进行优化。随着深度学习算法的不断发展,人们开始关注如何学习一个端到端的完全基于神经网络的自动问答模型。Kumar 等人[25]提出了一个基于动态记忆神经网络的自动问答系统。借鉴 LSTM 模型中的记忆模块的想法,建立一个外部的记忆模块,并用 GRU 模型来编码给定的背景事实信息作为情景记忆,然后用另外一个 GRU 模型来得到问题的表示,再利用注意力机制来建模问题表示和情景记忆之间的交互,并生成答案。整个系统可以进行端到端的联合训练。图 2 给出了基于动态记忆神经网络的自动问答系统示例。Sukhbaatar 等人[26]也提出了一个类似的端到端的基于记忆神经网络的自动问答模型。和 Kumar 等人的模型不同之处在于用了不同的外部记忆模块的表示机制以及不同的问答到情景记忆的交互机制Hermann等人[27]利用双向 LSTM 模型,提出了三种不同的交互机制建立问题和背景文档的联合表示,然后通过一个分类器来预测答案。 (4)自动文摘自动文摘是指自动地从原始文章中提取一个简短的能够全面反映原文内容的摘要。自动文摘有两种类型,一种是抽取式文摘,从原始文章中抽取一些代表性的句子;另一种是理解式文摘,先理解原始文章,在通过自然语言生成来产生摘要。受到传统方法的限制,以前的自动文摘一般是抽取式文摘,并且研究进展缓慢,逐渐受到冷落。自动文摘又开始逐渐成为研究热点。一开始研究者关注于如何利用分布式表示来改进抽取式文摘方法中的句子之间的相似度计算 [28-29] 。随着深度学习在统计语言模型的成功,并在端到端机器翻译模型的启发下,研究者开始关注如何直接建立一个端到端的基于神经网络的理解式自动文摘系统。Rush 等人[30]尝试利用神经词袋模型、卷积神经网络模型以及基于注意力的卷积神经网络模型来得到原始文章的向量表示,然后再通过神经语言模型来生成摘要。通过大规模的训练数据,在 DUC 自动文摘数据集上取得了很好的效果。 综上所述,深度学习在自然语言处理领域的进展非常迅速。两年前人们还认为深度学习对语言这种非自然信号并不有效。通过这两年的发展,深度学习方法已经在自然语言处理的很多任务上都取得了很大的进展,并超越了传统统计学习的方法。虽然取得的进展和语音识别、计算机视觉领域相比还不太显著,但是已经大大提升了研究者对深度学习在自然语言处理领域上的预期。此外,随着对深度学习认识的加深,研究者逐渐开始摆脱传统自然语言处理框架的限制,采用全新的深度学习框架来进行端到端的自然语言处理,并且也催生了很多新的应用,比如看图说话、自动写作等。相信未来几年,深度学习方法在自然语言处理领域会取得更大的突破。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——1.33 基础模型

1.33 基础模型 在自然语言处理中,很多任务的输入是变长的文本序列,而传统分类器的输入需要固定大小。因此,我们需要将变长的文本序列表示成固定长度的向量。以句子为例,一个句子的表示(也称为编码)可以看成是句子中所有词的语义组合。因此,句子编码方法近两年也受到广泛关注。句子编码主要研究如何有效地从词嵌入通过不同方式的组合得到句子表示。其中,比较有代表性方法有四种。 第一种是神经词袋模型,简单对文本序列中每个词嵌入进行平均,作为整个序列的表示。这种方法的缺点是丢失了词序信息。对于长文本,神经词袋模型比较有效。但是对于短文本,神经词袋模型很难捕获语义组合信息。 第二种方法是递归神经网络,按照一个外部给定的拓扑结构(比如成分句法树),不断递归得到整个序列的表示[9] 。递归神经网络的一个缺点是需要给定一个拓扑结构来确定词和词之间的依赖关系,因此限制其使用范围。一种改进的方式引入门机制来自动学习拓扑结构[10] 。 第三种是循环神经网络,将文本序列看作时间序列,不断更新,最后得到整个序列的表示。但是简单的循环神经网络存在长期依赖问题,不能有效利用长间隔的历史信息。因此,人们经常使用两个改进的模型:长短时记忆神经网络(LSTM) [11] 和基于门机制的循环单元(GRU) [12] 。 第四种是卷积神经网络,通过多个卷积层和子采样层,最终得到一个固定长度的向量。在一般的深度学习方法中,因为输入是固定维数的,因此子采样层的大小和层数是固定的。为了能够处理变长的句子,一般采用两种方式。一种是层数固定,但是子采样的大小不固定。根据输入的长度和最终向量的维数来动态确定子采样层的大小[13] 。另外一种是将输入的句子通过加入零向量补齐到一个固定长度,然后利用固定大小的卷积网络来得到最终的向量表示[14] 。 在上述四种基本方法的基础上,很多研究者综合这些方法的优点,提出了一些组合模型。Tai 等人[15]基于句法树的长短时记忆神经网络(Tree - LSTM), 将标准 LSTM 的时序结构改为语法树结构,在文本分类上得到非常好提升。Zhu 等人[16]提出了一种递归卷积神经网络模型,在递归神经网络的基础上引入卷积层和子采样层,这样更有效地提取特征组合,并且支持多叉树的拓扑结构。 如果处理的对象是比句子更长的文本序列(比如篇章),为了降低模型复杂度,一般采用层次化的方法。先得到句子编码,然后以句子编码为输入,进一步得到篇章的编码。 在上述模型中,循环神经网络因为非常适合处理文本序列,因此被广泛应用在很多自然语言处理任务上。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——7.4 语义组合

7.4 语义组合 分布式词表示的思想可以进一步扩展,即通过组合(Composition)的方式来表示短语、句子,甚至是篇章等更大粒度的语言单元。目前主要通过三种神经网络结构来实现不同的组合方式,即循环神经网络(顺序组合)、卷积神经网络(局部组合)和递归神经网络(根据句法结构进行组合) [8] 。下面以句子“我 喜欢 红 苹果”为例,说明不同组合方式的基本原理及其优缺点,具体可以参见图 1 中“深度学习”部分。 循 环 神 经 网 络(RNN,Recurrent NeuralNetwork)从左至右顺序地对句子中的单元进行两两组合,首先将“我”和“喜欢”组合,生成隐层h 1 ;然后将 h 1 与“红”进行组合,生成 h 2 ,以此类推。传统的循环神经网络模型存在严重的梯度消失(Vanishing Gradient)或者梯度爆炸(ExplodingGradient)问题,尤其是当句子较长,即网络的层数较多时。深度学习中一些常用的技术,如使用ReLU 激活函数、正则化,以及恰当的初始化权重参数等都可以部分解决这一问题。另一类更好的解决方案是减小网络的层数,以 LSTM 和 GRU 等为代表的带门循环神经网络(Gated RNN)都是这种思路,即通过对网络中门的控制,来强调或忘记某些输入,从而缩短了其前序输入到输出的网络层数,从而减小了由于层数较多而引起的梯度消失或者爆炸问题。 积神经网络(CNN,Convolutional NeuralNetwork)目前被广泛应用于图像处理领域,它考虑了生物神经网络中的局部接收域(ReceptionField)性质,即隐含层神经元只与部分输入层神经元连接,同时不同隐含层神经元的局部连接权值是共享的。这一性质在很多自然语言处理的任务中也有所体现,如对评论文本进行分类,最终的褒贬性往往由局部的一些短语决定,同时不需要顾及这些短语在文本中的位置信息。例如,只要评论中含有“我 喜欢”,就说明该评论是褒义的。由于存在局部接收域性质,各个隐含神经元的计算可以并行的进行,这就可以充分利用现代的硬件设备(如GPU),加速卷积神经网络的计算,这一点在循环神经网络中是较难实现的。 递 归 神 经 网 络(RecNN,Recursive NeuralNetwork)首先对句子进行句法分析,将顺序结构转化为树状结构,然后利用该结构来构建深度神经网络。因此在对句子“我 喜欢 红 苹果”进行组合时,首先组合“红”和“苹果”,生成隐层 h 1 ;然后再组合“喜欢”和 h 1 ,获得 h 2 ,以此类推。由此可见,该方法充分考虑了语言的递归组合性质,不会出现在循环或者递归神经网络中可能出现的任意无意义组合,如“喜欢 红”等。同时,对于如语义关系分类等任务,往往需要识别两个距离较远的实体之间的语义关系,如句子“在哈尔滨工业大学本科生院成立典礼上,校长周玉表示……”中,“哈尔滨工业大学”和“周玉”距离较远,他们中间的词汇往往对循环或者卷积神经网络模型构成了干扰,而递归神经网络利用句法结构,会将两个实体距离拉近,从而去除不必要的干扰,提升分析的准确率。当然,递归神经网络模型也受限于句法分析的准确率,因为一旦句法分析出现了错误,则会产生错误的组合方式,从而影响最终结果。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册