迁移学习让AI更好地理解上下文:Salesforce新论文
本文来自AI新媒体量子位(QbitAI) 让神经网络理解每个词的意思很容易,但上下文、词语之间的关系,依然是自然语言处理(NLP)中的难题。 Salesforce的一群NLP研究者发现,搞图像识别的同行们有个不错的办法,值得一试。 在图像识别领域,把ImageNet上预训练的CNN拿来,用在其他图像识别模型中,已经成为一种惯例。这种把训练好的模型参数迁移到新模型的方法,也就是这两年大热的迁移学习。 理解上下文,就是一个非常适合迁移学习的问题。 Learned in Translation 我们所能想到的大部分NLP任务,都有“理解上下文”的需求。 机器翻译模型需要知道英语句子中的这些词是怎样组合在一起的,才能正确地把它翻译成其他语言;自动文本摘要模型需要了解上下文,才能知道哪些词是最重要的;问答模型需要知道问题中的词如何与文档中的词关联。 既然大