4.39 什么是深度强化学习？

现在街头巷尾都在谈论的机器学习，其实是一个非常宽泛的概念，而其中最酷的分支要算是深度学 习（Deeplearning） 和 强 化 学 习（Reinforcementlearning）了。谷歌的 DeepMind 就是将深度学习和强化学习这两者的精髓合二为一，提出了深度强化学习。在 2014 年的时候，这个团队就在《Nature》杂志上发表了题为《Human-level control through deepreinforcement learning》的论文，让业界对此充满了期待。

深度学习起源于 2006 年，这要感谢机器学习领域的泰斗 Geoffrey Hinton 先生，是他在《Science》上的一篇著名论文开启了深度学习的浪潮。Geoffrey Hinton先生是个非常勤奋的学者，老人家腰椎不是太好，写个代码都得站着，而且还无法坐飞机，正所谓，伟大的人总要有伟大的付出，在此，向他致敬！

深度学习是一种机器学习中建模数据的隐含分布的多层表达的算法。换句话来说，深度学习算法自动提取分类中所需要的低层次或者高层次特征，因此深度学习能够更好的表示数据的特征；同时由于模型的层次、参数很多，容量也足够，因此深度学习模型有能力表示大规模数据。所以对于图像、语音这种特征不明显的棘手问题，反而能够借助深度学习在大规模训练数据上取得更好的效果。而且由于深度学习将特征和分类器结合到一个框架中，用数据去学习特征，在使用中减少了手工提取特征的巨大工作量，因此不仅仅效果可以更好，而且应用起来也非常方便。因此深度学习在图像识别和语音识别方面获得了巨大的进步。

强化学习，其实，就是一个连续决策的过程，其特点是不给任何数据做标注，仅仅提供一个回报函数，这个回报函数决定当前状态得到什么样的结果（比如“好”还是“坏”），从数学本质上来看，还是一个马尔科夫决策过程。强化学习最终目的是让决策过程中整体的回报函数期望最优。

通过所谓的类似于人脑网状结构的神经网络，深度学习是可以解决很多很实际的问题。例如谷歌的图像搜索、Facebook 的人脸识别、Skype 的实时翻译，以及 Twitter 的色情语言识别。强化学习则将深度学习又往前推进了一步，一旦你建立起了一个玩游戏的深度学习网络，你可以通过强化学习，让它和自己进行比赛，自我进化。