OpenAI最新研究：通过无监督学习提高语言理解能力

我们的系统分为两个阶段：首先，我们通过无监督的方式在大数据集上训练一个迁移学习模型，训练过程中使用语言模型的训练结果作为信号，然后我们在更小的有监督数据集上对这个模型进行微调，以帮助它解决特定的任务。这个方法的开发是在我们前一个sentiment neuron（情绪神经元）的工作之后进行的，在sentiment neuron任务中我们注意到，通过利用足够的数据对模型进行训练，无监督学习可以获得令人惊讶的判别特征。在这里，我们想进一步探讨这个想法：我们能否开发一个模型，以一种无监督的方式使用大量数据对模型进行训练，然后对模型进行微调，以在不同的任务中都获得良好的性能？我们的研究结果表明，这种方法的效果出奇地好。同样的核心模型可以针对完全不同的任务进行微调，以适应任务。

本研究是基于在半监督序列学习中引入的方法，该方法展示了如何通过对L