7.7 结束语

通过分布式表示以及语义组合这两个特性，深度学习为自然语言处理带来了很多新的发展机遇。一方面可以通过更好地表达特征，提高自然语言处理系统的性能；另一方面通过 seq2seq 等机制，实现过去较难实现的一些任务。为了更好地训练深度学习模型，寻找和构建大规模弱标注数据成为我们需要关注的另一个主要研究方向。

基于深度学习的自然语言处理技术方兴未艾，不但目前已经取得了良好的效果，而且具有非常广阔的研究前景。首先可以进一步发挥分布式表示和语义组合的潜力，拓展更多的应用，如目前被很多大公司关注的阅读理解问题；其次，除了多粒度、多语言以及多模态以外，不同的学习任务也可以共享同一套向量表示，从而将一种任务中学习获得的表示应用于另一种任务中，实现迁移学习或多任务学习这些更类似人类学习的方式；再次，很多自然语言处理任务，如对话生成，有赖于更大的上下文或者语境的，传统基于人工定义特征的方式很难对其进行建模，而深度学习模型则提供了一种对语境进行建模的有效方式；最后，无论何种神经网络模型，都是基于固定的网络结构进行组合，我们是否有可能基于动态变化的网络结构进行学习？传统的有监督学习框架很难实现该目标，而强化学习（Reinforcement Learning）框架提供了一种自动学习动态网络结构的途径。