论文札记之 - A Latent Semantic Model with Convolutional-Pooling Structure f...
在统计自然语言处理任务中,最基础也是最关键的一步是将人能够理解的文本编码为机器能够计算的向量,并且在编码过程中,尽量保留原有的语法和语义特征。语法特征包括词法:形容词,动词,名词等;句法:主谓宾,定状补;语义角色:如施事、受事、与事。语义特征则是需要结合上下文推到出的文本真正的含义,对歧义句式进行更严格的分化,可以解释某些同形格式产生歧义的原因。这篇 paper 讨论的是如何利用卷积的方式对语义特征进行编码,
The CLSM Architecture
卷积潜在语义模型(CLSM),基于卷积神经网络的潜在语义模型,捕捉重要的上下文特征用于语义建模,传统的 LSM 比较常用的有 LSA ,主要是构造 doc-term 矩阵,然后进行 svd 分解,得到 term vector 和 doc vector,缺点是只能建