漫谈深度网络的泛化，从Loss Surface到Deep Image Prior
深度网络 DNN 的性能为何如此之强，是深度学习理论中的一大难题。对于此的研究有 2 个层次： 第 1 层次，研究为何 DNN 能拟合复杂的训练数据，而不会陷入局部极小值点（local minimum）。这属于数学问题，相对简单。 第 2 层次，研究为何 DNN 能在实际测试数据中实现良好的泛化性能。这与实际测试数据背后的规律有关，难度更大。 这里的第1层次，涉及的概念是损失平面（loss surface），即损失函数（loss function）随参数的变化情况。 训练网络的目标是最小化损失函数。从前的看法是，通过梯度下降方法在大多数情况下只能到达局部极小值点（local minimum）。如果希望到达全局极小值点（global minimum），往往会是个NP-hard问题，即，很难保证实现这一目标。 而《The Loss Surfaces of Multilayer Networks》（https://arxiv.org/abs/1412.0233）证实了这一点。通过与理论物理中的自旋玻璃（spin glass）模型类比，研究人员发现，网络越大，越难通过训练到达全局极小值点。 但...
