深度学习超参数搜索实用指南

与机器学习模型不同，深度学习模型里面充满了各种超参数。而且，并非所有参数都能对模型的学习过程产生同样的贡献。考虑到这种额外的复杂性，在一个多维空间中找到合适的参数变量成为了挑战。幸运的是，我们有不同的策略和工具可以解决搜索问题。

每一位研究人员都希望在现有的资源条件下，找到最佳的模型。通常情况下，他们会在开发的最后阶段尝试一种搜索策略，这可能会有助于改进他们辛辛苦训练出来的模型。

此外，在半自动/全自动深度学习过程中，超参数搜索也是的一个非常重要的阶段。

超参数到底是什么？

让我们从最简单的定义开始，超参数是在构建机器/深度学习模型时可以转动的旋钮。或者这样解释，超参数是开始训练之前，用预先确定的值来手动设置的所有训练变量。

我们应该都会认可Learning Rate和Dropout Rate是超参数。但是模型设计的变量呢？这些变量包括嵌入