首页 文章 精选 留言 我的

精选列表

搜索[人工智能平台],共10000篇文章
优秀的个人博客,低调大师

《中国人工智能学会通讯》——10.26 相关工作

10.26 相关工作 在这部分我们回顾了相关文献。文献 [11] 提出了一种基于 3D morphable 模型的方法来计算形状和纹理信息,用来匹配带有姿态和光照变化的人脸。Ho et al [1] 运用马尔科夫随机场提出了一种姿态鲁棒的人脸识别算法。文献 [12] 提出一种基于概率模型的方法,它可以通过考虑不同视图人脸局部部分去建模人脸表面变化。Castillo et al [2] 提出一种基于窗口的密度立体匹配法,它可以解决大幅度姿态的变化。Chai et al [4] 提出一种姿态鲁棒的人脸识别方法,它主要是通过使用基于局部图片的矫正。在他们的方法中,通过所给的非正面图来虚拟出正面图片,主要是通过估计非正面图与正面图之间的转换矩阵。在文献 [13] 中,一种基于集论特征的方法被提出,它主要是解决由于模糊、姿态及光照的退化问题。文献 [14] 提出了一种处理不同姿态的姿态归一化方法。在文献 [15] 中,一种基于度量学习的方法被提出,它主要是通过正负对信息学习到具有一个具有识别力的潜在的空间。Zhu et al [16] 提出一种转换子空间学习法,它通过匹配 NIR-VIS 人脸图片作为多样化人脸匹配任务。Lu et al [17] 提出一种对于亲密关系核实的相邻击退度量学习法。一种基于高斯混合模型和凸优化度量的学习法在文献 [18] 中被提出。 文献 [19] 提出了涉及低分辨率人脸识别所出现挑战的一些细节的讨论。Baker et al [20] 提出了一种人脸识别法,它主要是对正面人脸图片学习分辨率增强函数。Nishiyama et al [21] 提出了一种基于聚类的人脸识别算法,它主要是用于识别模糊的人脸。Zou et al [22] 解决了识别低分辨率人脸图片的问题,它通过在训练过程中,学习高分辨率训练图片与低分辨测试图片之间的空间关系;通过使用线性回归并且施加不同的约束来学习这种关系;并且为了机器识别的目的提出了一种判别约束。文献 [23-24]提出一种耦合映射学习方法,通过把低分辨率测试图片和高分辨率训练图片投影到一个统一的潜在空间来提高人脸识别精度。 参考人脸的概念与文献 [25] 中提到的相似分类法相关,带有一些参考人脸,它可以测得所给人脸的相似性。在文献 [25] 中,测试图片人脸部分被分类为相似与参考图片中的其中一个。然而在本文提到的方法中,测试图片和训练图片的相关距离被用作特征表示。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——1.34 应 用

1.34 应 用 自然语言处理的应用非常广泛,这里我们主要回顾下文本匹配、机器翻译、问答系统和自动文摘这四个比较有代表性的应用领域。 (1)文本匹配文本匹配是计算给定两个文本序列的相关度。自然语言处理的很多任务可以归结为文本匹配任务,比如文本检索、文本蕴涵、问答对匹配等。Hu 等人[14]提出了两种基于卷积神经网络的文本匹配模型。一种是分别建模两个句子,得到句子编码。然后将两个句子编码输入给多层感知器来计算它们的相似度。另一种是将两个句子拼成一个矩阵,每一个矩阵元素是对应的两个句子中相应位置上词嵌入拼接而成的向量。然后利用两维卷积网络来建模相关性。Qiu 等人[17]利用动态卷积神经网络来建模句子编码,并利用张量神经网络来更加有效地建模它们之间的关系。Wan 等人[18]利用双向 LSTM 模型来分别建模两个句子,再按不同位置上双向 LSTM 的输出建立一个相似度矩阵,然后通过一个子采样层输入给多层感知器来建模相关度。这些方法都是采用端到端的训练方法,非常有利于模型的优化。 (2)机器翻译早期的基于神经网络的机器翻译系统是在传统模型中引入深度学习模型作为辅助特征。比较有代表性的是,Devlin 等人[19]将神经网络语言模型引入到传统机器翻译框架的解码过程,并取得了 3 个 BLEU 值的提升。该工作也得到了 2014 年 ACL 的最佳论文奖。之后,越来越多的研究者开始采用端到端的深度学习模型来进行机器翻译。Sutskever 等人[20]采用了单一神经网络架构的序列到序列模型。首先利用一个 LSTM模型来得到源语言的向量表示,然后再利用一个基于LSTM 的语言模型来生成目标语言。序列到序列的机器翻译模型如图 1 所示。ABC 为源语言,WXYZ 为目标语言。Bahdaau 等人[21]在序列到序列的机器翻译模型的基础上,在生成目标语言时,加入了注意力机制来自动学习目标词在源语言上的对齐词。Dong 等人[22]利用多任务学习方法来联合学习从一种源语言到多个目标语言的翻译模型。通过在一对多的序列到序列的机器翻译模型中共享源语言的表示,可以更有效地建模源语言端的编码模型。Meng 等人[23]利用神经图灵机[24]来建立一个深层的记忆神经网络,并取得了很好的翻译效果。不同层的记忆之间通过控制器和读写操作进行交互。 (3)自动问答自动问答是指给定一个背景语料库或一些事实,系统可以自动分析输入的问题,并利用语料库中的知识给出答案。传统的自动问答系统一般分为很多模块。每个模型分别进行优化。随着深度学习算法的不断发展,人们开始关注如何学习一个端到端的完全基于神经网络的自动问答模型。Kumar 等人[25]提出了一个基于动态记忆神经网络的自动问答系统。借鉴 LSTM 模型中的记忆模块的想法,建立一个外部的记忆模块,并用 GRU 模型来编码给定的背景事实信息作为情景记忆,然后用另外一个 GRU 模型来得到问题的表示,再利用注意力机制来建模问题表示和情景记忆之间的交互,并生成答案。整个系统可以进行端到端的联合训练。图 2 给出了基于动态记忆神经网络的自动问答系统示例。Sukhbaatar 等人[26]也提出了一个类似的端到端的基于记忆神经网络的自动问答模型。和 Kumar 等人的模型不同之处在于用了不同的外部记忆模块的表示机制以及不同的问答到情景记忆的交互机制Hermann等人[27]利用双向 LSTM 模型,提出了三种不同的交互机制建立问题和背景文档的联合表示,然后通过一个分类器来预测答案。 (4)自动文摘自动文摘是指自动地从原始文章中提取一个简短的能够全面反映原文内容的摘要。自动文摘有两种类型,一种是抽取式文摘,从原始文章中抽取一些代表性的句子;另一种是理解式文摘,先理解原始文章,在通过自然语言生成来产生摘要。受到传统方法的限制,以前的自动文摘一般是抽取式文摘,并且研究进展缓慢,逐渐受到冷落。自动文摘又开始逐渐成为研究热点。一开始研究者关注于如何利用分布式表示来改进抽取式文摘方法中的句子之间的相似度计算 [28-29] 。随着深度学习在统计语言模型的成功,并在端到端机器翻译模型的启发下,研究者开始关注如何直接建立一个端到端的基于神经网络的理解式自动文摘系统。Rush 等人[30]尝试利用神经词袋模型、卷积神经网络模型以及基于注意力的卷积神经网络模型来得到原始文章的向量表示,然后再通过神经语言模型来生成摘要。通过大规模的训练数据,在 DUC 自动文摘数据集上取得了很好的效果。 综上所述,深度学习在自然语言处理领域的进展非常迅速。两年前人们还认为深度学习对语言这种非自然信号并不有效。通过这两年的发展,深度学习方法已经在自然语言处理的很多任务上都取得了很大的进展,并超越了传统统计学习的方法。虽然取得的进展和语音识别、计算机视觉领域相比还不太显著,但是已经大大提升了研究者对深度学习在自然语言处理领域上的预期。此外,随着对深度学习认识的加深,研究者逐渐开始摆脱传统自然语言处理框架的限制,采用全新的深度学习框架来进行端到端的自然语言处理,并且也催生了很多新的应用,比如看图说话、自动写作等。相信未来几年,深度学习方法在自然语言处理领域会取得更大的突破。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——1.33 基础模型

1.33 基础模型 在自然语言处理中,很多任务的输入是变长的文本序列,而传统分类器的输入需要固定大小。因此,我们需要将变长的文本序列表示成固定长度的向量。以句子为例,一个句子的表示(也称为编码)可以看成是句子中所有词的语义组合。因此,句子编码方法近两年也受到广泛关注。句子编码主要研究如何有效地从词嵌入通过不同方式的组合得到句子表示。其中,比较有代表性方法有四种。 第一种是神经词袋模型,简单对文本序列中每个词嵌入进行平均,作为整个序列的表示。这种方法的缺点是丢失了词序信息。对于长文本,神经词袋模型比较有效。但是对于短文本,神经词袋模型很难捕获语义组合信息。 第二种方法是递归神经网络,按照一个外部给定的拓扑结构(比如成分句法树),不断递归得到整个序列的表示[9] 。递归神经网络的一个缺点是需要给定一个拓扑结构来确定词和词之间的依赖关系,因此限制其使用范围。一种改进的方式引入门机制来自动学习拓扑结构[10] 。 第三种是循环神经网络,将文本序列看作时间序列,不断更新,最后得到整个序列的表示。但是简单的循环神经网络存在长期依赖问题,不能有效利用长间隔的历史信息。因此,人们经常使用两个改进的模型:长短时记忆神经网络(LSTM) [11] 和基于门机制的循环单元(GRU) [12] 。 第四种是卷积神经网络,通过多个卷积层和子采样层,最终得到一个固定长度的向量。在一般的深度学习方法中,因为输入是固定维数的,因此子采样层的大小和层数是固定的。为了能够处理变长的句子,一般采用两种方式。一种是层数固定,但是子采样的大小不固定。根据输入的长度和最终向量的维数来动态确定子采样层的大小[13] 。另外一种是将输入的句子通过加入零向量补齐到一个固定长度,然后利用固定大小的卷积网络来得到最终的向量表示[14] 。 在上述四种基本方法的基础上,很多研究者综合这些方法的优点,提出了一些组合模型。Tai 等人[15]基于句法树的长短时记忆神经网络(Tree - LSTM), 将标准 LSTM 的时序结构改为语法树结构,在文本分类上得到非常好提升。Zhu 等人[16]提出了一种递归卷积神经网络模型,在递归神经网络的基础上引入卷积层和子采样层,这样更有效地提取特征组合,并且支持多叉树的拓扑结构。 如果处理的对象是比句子更长的文本序列(比如篇章),为了降低模型复杂度,一般采用层次化的方法。先得到句子编码,然后以句子编码为输入,进一步得到篇章的编码。 在上述模型中,循环神经网络因为非常适合处理文本序列,因此被广泛应用在很多自然语言处理任务上。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——7.4 语义组合

7.4 语义组合 分布式词表示的思想可以进一步扩展,即通过组合(Composition)的方式来表示短语、句子,甚至是篇章等更大粒度的语言单元。目前主要通过三种神经网络结构来实现不同的组合方式,即循环神经网络(顺序组合)、卷积神经网络(局部组合)和递归神经网络(根据句法结构进行组合) [8] 。下面以句子“我 喜欢 红 苹果”为例,说明不同组合方式的基本原理及其优缺点,具体可以参见图 1 中“深度学习”部分。 循 环 神 经 网 络(RNN,Recurrent NeuralNetwork)从左至右顺序地对句子中的单元进行两两组合,首先将“我”和“喜欢”组合,生成隐层h 1 ;然后将 h 1 与“红”进行组合,生成 h 2 ,以此类推。传统的循环神经网络模型存在严重的梯度消失(Vanishing Gradient)或者梯度爆炸(ExplodingGradient)问题,尤其是当句子较长,即网络的层数较多时。深度学习中一些常用的技术,如使用ReLU 激活函数、正则化,以及恰当的初始化权重参数等都可以部分解决这一问题。另一类更好的解决方案是减小网络的层数,以 LSTM 和 GRU 等为代表的带门循环神经网络(Gated RNN)都是这种思路,即通过对网络中门的控制,来强调或忘记某些输入,从而缩短了其前序输入到输出的网络层数,从而减小了由于层数较多而引起的梯度消失或者爆炸问题。 积神经网络(CNN,Convolutional NeuralNetwork)目前被广泛应用于图像处理领域,它考虑了生物神经网络中的局部接收域(ReceptionField)性质,即隐含层神经元只与部分输入层神经元连接,同时不同隐含层神经元的局部连接权值是共享的。这一性质在很多自然语言处理的任务中也有所体现,如对评论文本进行分类,最终的褒贬性往往由局部的一些短语决定,同时不需要顾及这些短语在文本中的位置信息。例如,只要评论中含有“我 喜欢”,就说明该评论是褒义的。由于存在局部接收域性质,各个隐含神经元的计算可以并行的进行,这就可以充分利用现代的硬件设备(如GPU),加速卷积神经网络的计算,这一点在循环神经网络中是较难实现的。 递 归 神 经 网 络(RecNN,Recursive NeuralNetwork)首先对句子进行句法分析,将顺序结构转化为树状结构,然后利用该结构来构建深度神经网络。因此在对句子“我 喜欢 红 苹果”进行组合时,首先组合“红”和“苹果”,生成隐层 h 1 ;然后再组合“喜欢”和 h 1 ,获得 h 2 ,以此类推。由此可见,该方法充分考虑了语言的递归组合性质,不会出现在循环或者递归神经网络中可能出现的任意无意义组合,如“喜欢 红”等。同时,对于如语义关系分类等任务,往往需要识别两个距离较远的实体之间的语义关系,如句子“在哈尔滨工业大学本科生院成立典礼上,校长周玉表示……”中,“哈尔滨工业大学”和“周玉”距离较远,他们中间的词汇往往对循环或者卷积神经网络模型构成了干扰,而递归神经网络利用句法结构,会将两个实体距离拉近,从而去除不必要的干扰,提升分析的准确率。当然,递归神经网络模型也受限于句法分析的准确率,因为一旦句法分析出现了错误,则会产生错误的组合方式,从而影响最终结果。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——7.5 应 用

7.5 应 用 通过组合,产生不同粒度语言单元的(向量)表示方式,然后通过在向量空间中的运算,就可以支撑多种多样的应用。例如想要识别两个句子是否互为复述(Paraphrase),就可以使用以上任意一种神经网络结构,将两个句子分别表示为两个向量,并通过在其之上再构建神经网络构成二元分类器的方式,判断两个向量之间是否互为复述[9] ;然后通过反向传播(Back Propagation)算法,就可以学习获得三个神经网络的参数。 另外,两个单元也可以是不同的粒度,如完形填空,空白处的上下文可以使用神经网络表示为向量,候选词也可以使用向量表示,然后同样使用另一个神经网络模型判断它们之间是否匹配,从而判断填入该词是否合适。 这种以向量的形式表示,然后再计算的思想可以扩展为多种语言,从而实现机器翻译等功能。对于机器翻译,我们首先将源语言表示为向量,该向量代表了源语言的语义信息;然后根据该向量,逐词的生成目标语言[10] 。这套方法又称为编码 - 解码(Encoder-Decoder)或者序列到序列(seq2seq,sequence to sequence)的框架。现实情况中,很难用一个向量表示源语言全部信息,所以在生成一个目标语言词时,如果能有其对应的源语言词作为输入,则生成的词会更准确。由于两种语言之间的词并非一一对应,所以很难判断当前的目标语言的词是由那个源语言生成的,于是人们设计出注意力(Attention)机制[11] ,即当前目标语言的词是全部源语言的词经过加权求和后的向量及前一个目标词的隐含层向量(h t -1)共同生成的,每个权重由 h t -1和每个源语言词的隐层向量(h s )共同决定,源语言的词权重越大,说明其对生成该目标语言的贡献越大,这其实也隐含说明这两个词越对齐。 以上的这种 seq2seq 思想又可以进一步应用于更多的自然语言处理任务中,如抽象式文摘(Abstractive Summarization)这一前人很难触及的任务。传统的文摘研究多集中于抽取式文摘(Extractive Summarization),即从篇章中摘取重要的句子组成文摘,而缺乏有效的手段能够将句子打破。基于 seq2seq 技术,就可以将原文表示为一个向量,然后通过该向量,逐词的生成连贯的文摘,从而不受限于必须抽取原文中的句子。 再进一步将该思想进行扩展,是否也可以将图片或者视频表示为向量,然后在生成对应的文字描述?这正是图像字幕生成(Image CaptionGeneration)这一非常有趣的研究任务所采用的基本思想,其中图像的向量可以由卷积神经网络来生成[12] 。 另外,一些传统的自然语言处理任务,如词性标注、句法语义分析等也都受益于深度学习方法。以基于转移的句法分析器为例,该方法使用一系列由初始到终止的状态(State 或 Configuration)表示句法分析的过程,一个状态经过一个转移动作(Action),如移进(Shift)或归约(Reduce),变为一个新的状态。我们的目的就是要学习一个分类器,其输入为一个状态,输出为该状态下最可能的动作。具体介绍可以参见 Google 最新发布的 SyntaxNet 文档1 。传统的方法通过抽取一系列人工定义的特征来表示状态,即分类的依据,如栈(Stack)顶的词、词性,缓存(Buffer)顶的词、词性以及各种特征组合等。显然,这种人工定义特征的方式存在特征定义不完备等问题。因此可以采用任一种神经网络结构,如LSTM循环神经网络[13] ,更全面地表示一个状态,从而省去了繁琐的特征定义过程,并能够获得更好的分类效果。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——2.29 未来展望

2.29 未来展望 综上所述,机器翻译研究 60 多年来的发展趋势是不断降低人在翻译过程中主导作用:基于规则的方法完全靠人编纂翻译规则;基于统计的方法能够从数据中自动学习翻译知识,但仍需要人来设计翻译过程的隐结构和特征;基于深度学习的方法则可以直接用神经网络描述整个翻译过程。近年来,端到端神经机器翻译成为最热门的研究领域,未来的研究方向可能集中在以下五个方面。 ● 架构:如何设计表达能力更强的新架构?近期提出的神经网络图灵机[15]和记忆网络[16]可能成为下一个关键技术。 ● 训练:如何降低训练复杂度?如何更有效地提高翻译质量?近期的工作表明直接优化评价指标能够显著提升翻译性能[17-18] 。 ● 先验知识:目前的方法完全从数据中自动学习翻译知识,能否利用先验知识指导翻译过程?能否与现有的知识库相结合?近期在基于注意力的翻译模型上的研究工作已经有一些初步进展[19] 。 ● 多语言:目前的方法主要处理中文和英文等资源丰富语言,能否处理更多的语言对? Bengio研究组提出的基于共享注意力机制的多语言翻译方法值得关注[20] 。 ● 多模态:目前的方法主要关注文本翻译,能否利用向量表示贯通文本、语音和图像,实现多模态翻译?最近在图像标题翻译上的研究工作是很好的尝试[21] 。 相信未来几年,基于深度学习的机器翻译方法尤其是端到端神经机器翻译会取得更大突破,发展成为新时期机器翻译的主流技术,造福于社会大众。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——2.36 回顾 2015

2.36 回顾 2015 这绝不是今年 AI 和机器学习(ML)领域卓著功勋的完整列表。今年也有许多更基础的发现和发展,包括我认为比上面所列更有革命性的发展。但这些还处于发展初期,所以不在此文所选范围内。 今年无疑产生了一些令人印象深刻的进展。但是我们希望在 2016 年能够看到更多。来年,我希望看到更根本的深度架构、符号和亚符号更好地整合、一些很棒的对话系统、最终称霸围棋游戏的AI、深度学习被用于更精细机器人规划和电机控制、高品质视频摘要和更富有创造性和更高分辨率的虚构图像,这都是其中一瞥。更让人兴奋的还将会是我们意料之外的发展。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册