《 短文本数据理解》——导读
‖前 言
当今世界,每天都有数十亿的短文本产生,比如搜索查询、广告关键字、标签、微博、问答、聊天记录等。与长文本(如文档)不同,短文本具有如下特性:首先,短文本通常不遵守语法规则;其次,短文本由于字数少,本身所包含的信息也较少。前者使得传统的自然语言处理方法不能直接适用于短文本,而后者则意味着短文本理解不得不依赖于外部信息。简而言之,短文本具有较稀疏、噪声大、歧义多的特点,因而机器理解短文本面临极大的挑战。
而另一方面,随着近些年人工智能技术的重大突破,尤其是大规模知识图谱以及深度学习技术的出现,使得机器理解短文本出现新的曙光。研究者们提出了许多将文本转换成机器所能理解的内部表示方法。这些方法可以分为三类:1)隐性知识表示方法,如基于深度学习产生的向量表示法;2)半显性知识表示方法,如主题模型;3)显性知识表示方法,如概念化模型。这些

