Transformer原理解析——一种Open AI和DeepMind都在用的神经网络架构

Transformer模型是一种日益流行的神经网络结构。它最近被OpenAI用于他们的语言模型中。与此同时，近期也被DeepMind用于它们的程序“星际争霸”中击败了一名顶级职业星际玩家。

Transformer模型的开发是为了解决序列转换及神经机器翻译问题。这意味着可以解决任何sequence to sequence问题，例如语音识别、文本到语音转换等。

序列转换。输入用绿色表示，模型用蓝色表示，输出用紫色表示。GIF取自3

对于执行序列转换的模型而言，有一些记忆是必要的。例如，我们把下面的句子翻译成另一种语言(法语)：

“The Transformers”是日本的一个硬核朋克乐队。该乐队成立于1968年，处于日本音乐史的鼎盛期。”

在本例中，第二句中的“the band”指的是第一句中引入的“The Transformers”乐队。当你