一文了解LSTM和GRU背后的秘密（绝对没有公式）

你好，欢迎阅读长短期记忆网络（LSTM）和门控循环单元（GRU）的图解文章。我是Michael，是AI语音助理领域的机器学习工程师。

在这篇文章中，我们将从LSTM和GRU背后的原理出发。然后我将解释允许LSTM和GRU表现良好的内部机制。如果你想了解这两个网络的背后到底是什么，那么这篇文章就是为你准备的。

问题根源短期记忆

递归神经网络(RNN)具有短期记忆。如果序列足够长，他们将很难将信息从较早的时间步骤传送到后面的步骤。因此，如果你正在尝试对一段文本进行预测，RNN可能会从一开始就遗漏掉重要信息。

在反向传播期间，递归神经网络（RNN）会遇到梯度消失问题。梯度是用于更新神经网络权重的值。梯度消失问题是当梯度随着时间的推移传播时梯度下降。如果梯度值变得非常小，则不会继续学习。

梯度更新的规则

因此，在递归神经网络中，获得小梯度更新的层会停