深度学习Trick——用权重约束减轻深层网络过拟合|附(Keras)实现代码
在深度学习中,批量归一化(batch normalization)以及对损失函数加一些正则项这两类方法,一般可以提升模型的性能。这两类方法基本上都属于权重约束,用于减少深度学习神经网络模型对训练数据的过拟合,并改善模型对新数据的性能。
目前,存在多种类型的权重约束方法,例如最大化或单位向量归一化,有些方法也必须需要配置超参数。
在本教程中,使用Keras API,用于向深度学习神经网络模型添加权重约束以减少过拟合。
完成本教程后,您将了解:
- 如何使用Keras API创建向量范数约束;
- 如何使用Keras API为MLP、CNN和RNN层添加权重约束;
- 如何通过向现有模型添加权重约束来减少过度拟合;
下面,让我们开始吧。
本教程分为三个部分:
- Keras中的权重约束;
- 图层上的权重约束;
- 权重约束
