7.3 分布式表示

深度学习最早在自然语言处理中的应用是神经网络语言模型[4] ，其背后的一个基本假设是使用低维、稠密、连续的向量表示词汇，又被称为分布式词表示（Distributed Word Representation）或词嵌入（Word Embedding）。从直觉上来讲，使用该项技术，可以将相似的词汇表示为相似的向量，如“马铃薯”和“土豆”的词向量比较相似。这样，如果我们在训练数据中只观察到了“马铃薯”，即使在测试时出现了“土豆”，也能通过词向量判断其与“马铃薯”比较相似，从而在一定程度上缓解了自然语言处理中常见的数据稀疏问题。

在理论上，将原有高维、稀疏、离散的词汇表示方法（又称为 One-hot 表示）映射为分布式表示是一种降维方法，可有效克服机器学习中的“维数灾难（Curse of Dimensionality）”问题，从而获得更好的学习效果。同时这种分布式表示的表达能力更强，理论上其表达能力与其维度成指数关系，而传统离散表示是线性关系。另外一种对分布式词表示的理解是，不同维度表示了词的不同主题，各维度上的数值表示了一个词对于不同主题的权重，这相当于将原来线性不可分的一个词抽取出其各个属性，从而更有利于分类（最终还是线性分类）。这就好比我们要区分不同种族的人，只通过人名（相当于传统的离散词表示方式）不好区分，而如果能将每个人抽取出各种“属性 - 值”对（相当于转换为分布式词表示），如眼睛的颜色、鼻子的高度等，就更容易进行人种的区分了。

分布式词表示近年来被广泛应用于自然语言处理中，通常有直接和间接两种应用方式。所谓直接应用，即使用学习到的分布词表示进行词语之间的相似度计算或者句法语义关系的学习。事实上，对词语之间相似度的表达能力，也一度被用于评价学习获得的分布式词表示，常用的评测集有WordSim-353 ( 英文 ) 等。

另一方面，分布式词表示能够在一定程度上表达特定的句法语义关系则是其另一个非常有趣的性质。这种性质首先由 Mikolov et al 发现[5] ，他们通过对数据的观察，发现满足相同句法或语义关系的两个词对，其分布式表示的差向量也非常接近，如V(Woman)-V(Man)≈V(Queen)-V(King)。这意味着，只需要通过简单的向量运算，就可以表达词汇之间所蕴含的句法或语义关系。该性质后来被广泛应用于知识图谱（Knowledge Graph）或本体（Ontology）的构建等任务[6] 。

分布式词表示的另一方面应用为间接应用，即将其作为上层系统的输入，利用该表示的各种优秀性质，提高上层系统的准确率。最简单的做法是将分布式词表示作为额外的特征输入给上层系统[7] ，这样上层系统可以不进行任何修改，仍然使用传统的线性模型，通过分布式词表示增强词汇特征的泛化能力，提高准确率。另一种做法是将上层系统替换为多层非线性神经网络模型，这样分布式词表示在作为特征输入给系统的同时，也可以通过反向传播机制进行微调（Fine-tuning），从而更加适用于具体的自然语言处理任务。