词嵌入和矩阵分解的统一
2018年对于自然语言处理(Natural Language Processing, NPL)是极有意义的一年,这一年出现了许多新的研究方向和尖端成果。在学术界和工业界,由于带有上下文的嵌入模型对内存和硬件的要求极高,预先训练词嵌入的使用仍然十分普遍。
SGNS and Matrix Factorization
You shall know a word by the company it keeps. (Firth, 1957)
正如Firth所言,词义的确定需要结合它与其它词语之间的搭配关系,他所说的“company”指的就是与某一词语同现的搭配词语。构建预先训练词嵌入的优势在于,其向量表示能够反映通用语言信息,这些信息对后续任务的开展有很大的帮助。对于NLP而言,通过创建单词的词嵌入向量,能够预测可能会出现在该单词周围的单词。
S