《中国人工智能学会通讯》——11.76 基于深度学习的特征表示模型
11.76 基于深度学习的特征表示模型 随着数据规模不断增大，深度学习在大数据分析中扮演着越来越重要的角色。图 5 显示了数据规模与性能之间的关系，传统学习算法在数据规模达到一定时性能几乎不再增加，而深度学习算法的性能会随着数据规模增加而增加。通过深度学习进行特征表示学习已经成为了机器学习和数据挖掘社区的一个快速突起的方法，并已经在许多领域获得成功，如计算机视觉、语音识别和自然语言处理等。蒙特利尔大学 Bengio 教授在文献 [8] 中综述了这方面的最新进展。许多深度神经网络模型，如自编码器和受限玻尔兹曼机，均采用无监督学习的模式。举例来说，一个自编码器通过数据自身重构的方式来学习优化网络参数。另一方面，深度神经网络也可以采用监督学习模式，如纽约大学 LeCun 教授提出的卷积神经网络[10] 。然而，在 2006 年之前大多数监督学习模式的深度网络均不是很成功。事实证明，多层神经网络的预测能力往往比浅层学习模型（如 SVM）更差。2006 年，多伦多大学 Hinton 教授革命性地提出了深度置信网络（Deep Belief Network，DBN），一种非监督式的逐层贪心训练算法，...
