一文了解自然语言处理神经史（下）

2014年-序列到序列模型

2014年，Sutskever等人提出序列到序列学习，一种通过神经网络将一个序列映射到另一个序列的通用框架。在该框架中，编码器神经网络逐个符号地处理句子并将其压缩成矢量表示; 然后，解码器神经网络基于编码器状态逐个符号地预测输出符号，在每个步骤中将先前预测的符号作为输入，如下面的图8所示。

机器翻译成了这个框架的杀手级应用。2016年，谷歌宣布开始用NMT模型替换其基于单片短语的MT模型（Wu et al.，2016）。根据Jeff Dean的说法，这意味着用500线性神经网络模型替换500,000行基于短语的MT代码。

由于其灵活性，该框架现在是自然语言生成任务的首选框架，不同的模型承担编码器和解码器的角色。重要的是，解码器模型不仅可以以序列为条件，而且可以以任意表示为条件。这使得例如基于图像生成标题（Vi