自然语言处理中的深度学习发展史和待解难题
自然语言处理(NLP)是指机器理解并解释人类写作与说话方式的能力。近年来,深度学习技术在自然语言处理方面的研究和应用也取得了显著的成果。
技术博客Sigmoidal最近发布了一篇文章,作者是机器学习工程师Rafal。
这篇文章讨论了自然语言处理方法的发展史,以及深度学习带来的影响。量子位编译如下:
在深度学习时代来临前
在2006年Hinton提出深度信念网络(DBN)之前,神经网络是一种极其复杂且难以训练的功能网络,所以只能作为一种数学理论来进行研究。
在神经网络成为一种强大的机器学习工具之前,经典的数据挖掘算法在自然语言处理方面有着许多相当成功的应用。我们可以使用一些很简单且容易理解的模型来解决常见问题,比如垃圾邮件过滤、词性标注等。
但并不是所有问题都能用这些经典模型来解决。简单的模型不能准确地捕