Convolutional Neural Networks for Sentence Classification
本篇将分享一个有监督学习句子表示的方法,文章是Convolutional Neural Networks for Sentence Classification,作者是Harvard NLP组的Yoon Kim,并且开源了代码sent-conv-torch。 卷积神经网络(CNN)在计算机视觉中应用广泛,其捕捉局部feature的能力非常强,为分析和利用图像数据的研究者提供了极大额帮助。本文作者将CNN引用到了NLP的文本分类任务中。 本文模型架构图: 熟悉CNN结构的童鞋们看这个图就会非常眼熟,单通道图像可以表示为一个矩阵,输入到CNN中,经过多组filter层和pooling层,得到图像的局部特征,然后进行相关任务。本文用拼接词向量的方法,将一个句子表示成为一个矩阵,这里矩阵的每一行表示一个word,后面的步骤仅采用一组filter、pooling层来得到句子的特征向量,然后进行分类。 这里,模型根据词向量的不同分为四种: CNN-rand,所有的词向量都随机初始化,并且作为模型参数进行训练。 CNN-static,即用word2vec预训练好的向量(Google News),在训...
