一种面向非自回归神经机器翻译的多模错误恢复学习机制
本文基于ACL 2020论文《Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation》撰写,论文作者为腾讯微信AI团队。 导语 非自回归神经机器翻译(non-autoregressive neural machine translation,简称非自回归翻译)是近年来兴起的一种新的机器翻译方法。为了提升翻译速度,其抛弃了目标语言词间的依赖关系,并行生成所有目标词,显著提升了翻译速度。但由于同一段原文经常有多种可行的潜在译文,使得非自回归翻译模型在解码时会出现不同位置的目标语言词是从不同的潜在译文中选取的问题,被称为多峰问题(multi-modality problem)。该问题通常表现为重复翻译和漏译现象,对非自回归翻译模型的翻译质量具有不利影响。为了缓解该问题,本文提出了一种新的模型RecoverSAT。该模型该译文拆成多个片段并逐段生成,在每个片段内部采用自回归生成方式,而段间则采用非自回归方式。进一步的,通过引入动态停止机制和段删除机制,该方法...