这些深度学习术语，你了解多少？（上）

对于一个新手来说，深度学习术语可能非常难以理解。本表试图解释深度学习常用术语并链接到原始参考，以帮助读者深入了解特定主题。

深度学习与“一般”的机器学习术语之间的界限非常模糊。例如，我这里不包括“交叉验证”，因为它是一种通用技术，用于整个机器学习。但是，我加入了softmax或word2vec等术语，因为它们通常与深度学习相关，即使它们不是深度学习技术。

激活函数

为了让神经网络学习复杂的决策边界，我们将非线性激活函数应用于其某些层。常用的函数包括sigmoid、tanh、ReLU（整流线性单元）及它们的变体。

Adadelta

Adadelta是一种基于梯度下降的学习算法，可以随时间调整每个参数的学习速率。它被认为是对Adagrad的改进，因为Adagrad对超参数很敏感，并且可能过于快速的降低学习速度。Adadelta类似于rmspro