该放弃正在堕落的“RNN和LSTM”了

递归神经网络（RNN），长期短期记忆（LSTM）及其所有变体：

现在是放弃它们的时候了！

在2014年，LSTM和RNN重新复活。我们都阅读过Colah的博客和Karpathy对RNN的赞赏。但那个时候我们都很年轻，没有经验。随着这几年的技术的发展，我们才慢慢发现序列变换（seq2seq）才是真正求解序列学习的真正模型，它在语音识别领域创造了惊人的结果，例如：苹果的Siri，Cortana，谷歌语音助手Alexa。还有就是我们的机器翻译，它可以将文档翻译成不同的语言。

然后在接下来的15年、16年，ResNet和Attention模型出现了。人们可以更好地认识到了LSTM其实就是一种巧妙的搭桥技术。注意，MLP网络可以通过平均受上下文向量影响的网络来取代，这个下文再谈。

通过两年的发展，今天我们可以肯定地说：“放弃你的RNN和LSTM！”