您现在的位置是：首页 > 文章详情

词嵌入和矩阵分解的统一

日期：2019-03-22点击：437收藏

2018年对于自然语言处理（Natural Language Processing, NPL）是极有意义的一年，这一年出现了许多新的研究方向和尖端成果。在学术界和工业界，由于带有上下文的嵌入模型对内存和硬件的要求极高，预先训练词嵌入的使用仍然十分普遍。

SGNS and Matrix Factorization
You shall know a word by the company it keeps. (Firth, 1957)
正如Firth所言，词义的确定需要结合它与其它词语之间的搭配关系，他所说的“company”指的就是与某一词语同现的搭配词语。构建预先训练词嵌入的优势在于，其向量表示能够反映通用语言信息，这些信息对后续任务的开展有很大的帮助。对于NLP而言，通过创建单词的词嵌入向量，能够预测可能会出现在该单词周围的单词。

原文链接：https://yq.aliyun.com/articles/694999

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。