如何使用优化器让训练网络更快——神经网络的奥秘

通过使用Numpy来创建神经网络，让我意识到有哪些因素影响着神经网络的性能。架构、超参数值、参数初始化，仅是其中的一部分，而这次我们将致力于对学习过程的速度有巨大影响的决策，以及所获得的预测的准确性—对优化策略的选择。我们会研究很多流行的优化器，研究它们的工作原理，并进行对比。

你在GitHub上可以找到所有代码：

机器学习算法的优化

优化是搜索用于最小化或最大化函数参数的过程。当我们训练机器学习模型的时候，通常使用间接优化。我们选择某种度量，如精确度或回调，来指示模型如何很好地解决给定问题。然而，我们正在优化一个不同的代价函数J(θ)，并且希望把它最小化以提高我们关心的度量。当然，代价函数的选择通常与我们要解决的具体问题有关。本质上，它表明了我们离理想的解决方案有多远。

陷阱

结果证明，通常要找到最小的非凸代价函数并不容易，我们必须使用