1.31 深度学习 在自然语言处理研究上的进展

近年来，深度学习在人工智能的多个子领域都取得了显著的进展。在自然语言处理领域，虽然深度学习方法也收到越来越多的关注，在很多任务上也取得了一定效果，但是并没有其他领域那么显著。传统的主流自然语言处理方法是基于统计机器学习的方法，所使用的特征大多数是基于 onehot 向量表示的各种组合特征。这个特征表示方式会导致特征空间非常大，但也带来一个优点。就是在非常高维的特征空间中，很多任务上都是近似线性可分的。因此，在很多任务上，使用线性分类器就是可以取得比较满意的性能。研究者更加关注于如何去提取能有效的特征，也就是“特征工程”。

和传统统计机器学习不同，在自然语言处理中使用深度学习模型首先需要将特征表示从离散的 onehot向量表示转换为连续的稠密向量表示，也叫分布式表示。分布式表示的一个优点是特征之间存在“距离”概念，这对很多自然语言处理的任务非常有帮助。早期研究者采用比较保守的方法，将离散特征的分布式表示作为辅助特征引入传统的算法框架，取得了一定的进展，但提升都不太显著。近两年来，随着对深度学习算法的理解逐渐加深，越来越多的研究者开始从输入到输出全部采用深度学习模型，并进行端到端的训练，在很多任务上取得了比较大的突破。本文从词嵌入、基础模型和应用三个方面简要地回顾和梳理近两年深度学习在自然语言处理领域的进展。