利用非对话语料来丰富对话生成模型
本文基于ACL-2020论文《Diversifying Dialogue Generation with Non-Conversational Text》,论文作者是腾讯微信AI团队。 导言 基于序列到序列(seq2seq)的神经网络模型在开放领域对话生成的任务上经常会出现低丰富度(low-diversity)的问题,即生成的回复无趣且简单。因此,作者提出利用非对话的文本语料去提高对话模型的多样性。相比于传统的对话语料,非对话的文本语料不仅容易获得而且主题包罗万象,因此作者从论坛、书籍和谚语中搜集了大量的非对话语料,结合迭代的回译(back translation)方法将非对话语料融入到对话模型的语义空间内。在豆瓣和微博的数据集上,新模型在保持相关度的同时极大提高了生成回复的多样性。 模型背景与简介 seq2seq 模型已经在很多语言生成任务上取得了很好地效果。然而,当把它应用到通用领域的闲聊生成上时,一个很大的问题就是它倾向于生成像“我不知道”、“好的”这样的通用回复。原因就在于在日常生活中,这些通用回复大量存在于我们的对话里面。Seq2seq模型会很容易得学习到用通用回复就可以处理...







