长文本表示学习概述

摘要: "如果你愿意一层一层的剥开我的心·································那么你会坐牢的我跟你说"。自然语言就是这么神奇，句子中的长距离特征对于理解语义也非常关键，本文基于Tranformer、RNN、CNN、TCN分别概述近期学界对长句表示学习的诸多方法。

1.长文本表示学习挑战

​ NLP任务的特点和图像有极大的不同，上图展示了一个例子，NLP的输入往往是一句话或者一篇文章，所以它有几个特点：首先，输入是个一维线性序列，这个好理解；其次，输入是不定长的，有的长有的短，而这点其实对于模型处理起来也会增加一些小麻烦；再者，单词或者子句的相对位置关系很重要，两个单词位置互换可能导致完全不同的意思。如果你听到我对你说：“你欠我那一千万不用还了”和“我欠你那一千万不用还了”，你听到后分别是什么心情？两者