微软开源 GODEL 语言模型，用于现实对话

微软宣布开源其大型的预训练对话语言模型 Grounded Open Dialogue Language Model (GODEL)。根据介绍，GODEL 引入了一类新的预训练语言模型，可以实现面向任务的对话和社交对话，并通过其响应的有用性进行评估。

GODEL 的前身 DialogGPT 是微软于 2019 年发布的首个专门为对话设计的大规模预训练语言模型，有助于使对话式 AI 更易于访问和使用。与 DialoGPT 相比，GODEL 利用了新阶段的基础预训练，旨在更好地支持需要当前对话外部信息（如数据库或文件）来产生良好反应的微调阶段。

GODEL 的主要特点之一是它为用户提供了定义其模型基础的灵活性，这种灵活性主要体现在 GODEL 在不同对话环境中的通用性。例如，如果有人询问当地的一家餐馆，GODEL 将能够提供具体而准确的回答，即使这个地方可能不包括在用于训练它的数据中。

另一个主要特点是其广泛的对话应用程序。GODEL 可以应用于各种对话，包括面向任务、问答和基础聊天的对话。在同一次对话中，GODEL 可以针对各种查询类型产生合理的响应，包括一般性问题或对特定操作的请求。微软方面称，其论文结果表明，GODEL 的回答也被评估为是有帮助的。“我们将我们的模型与几个强大的 baselines 和最先进的方法进行了比较，并表明 GODEL 在人工和自动评估方面都具有优势。”

目前，微软已经将 GODEL 完全开源提供；包含三个不同的版本：base、large 和 extra-large。并提供了重新训练所有预训练模型和为特定任务微调模型所需的代码：用于对话式问答的 CoQA 数据集；Wizard of Wikipedia 和 Wizard of the Internet 数据集，用于寻求信息的聊天；MultiWOZ 用于任务完成对话。

“我们希望 GODEL 能够帮助众多学术研究团队通过创新的对话模型推进对话式人工智能领域，同时消除对大量 GPU 资源的需求。我们计划不断改进 GODEL，并向研究界提供更多的模型。”