深度学习简史

从机器学习流派说起

如果要给机器学习划分流派的话，初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』，就跟我们平时学习所用的归纳法差不多，也叫『从样例中学习』。
归纳学习又分为两大类，一类是像我们归纳知识点一样，把知识分解成一个一个的点，然后进行学习。因为最终都要表示成符号，所以也叫做『符号主义学习』；另一类则另辟蹊径，不关心知识是啥，而是模拟人脑学习的过程，人脑咋学咱们就照着学。这类思路模拟人的神经系统，因为人的神经网络是连接在一起的，所以也叫『连接主义学习』。
『统计学习』，则是上世经90年代才兴起的新学派。是一种应用数学和统计学方法进行学习的新思路。就是我既不关心学习的内容，也不是模拟人脑，而主要关心统计概率。这是一种脱离了主观，基本全靠客观的方式。

连接主义学派

连接主义学派的初心是模拟人脑的学习方式。
我