首次超越LSTM : Facebook 门卷积网络新模型能否取代递归模型?
语言模型对于语音识别系统来说,是一个关键的组成部分,在机器翻译中也是如此。近年来,神经网络模型被认为在性能上要优于经典的 n-gram 语言模型。经典的语言模型会面临数据稀疏的难题,使得模型很难表征大型的文本,以及长距离的依存性。神经网络语言模型通过在连续的空间中嵌入词语的方法,来解决这一难题。目前,语言建模的最好表现是基于长短记忆网络(LSTM,1997年由Hochreiter和Schmidhuber提出)的,它能对潜在的任意长期依存进行建模。
Facebook AI 实验室的这一研究在发表后吸引了大量的注意力。LSTM目前在语言、语音和翻译等方面有着广泛的应用,是学术和产业都十分关注的技术,现在忽然出现了一种比它更好的模型,AI 圈内人士怎么看?
美国卡内基梅隆计算机系博士邓侃对新智元说:“这是 LSTM