Meta 推出 SeamlessM4T,可转录和翻译近 100 种语言
Meta 宣布推出SeamlessM4T,一种基础的多语言和多任务模型,可以无缝翻译和转录语音和文本。SeamlessM4T 支持: 自动语音识别近百种语言 近 100 种输入和输出语言的语音到文本翻译 语音翻译,支持近 100 种输入语言和 35 种(+英语)输出语言 近 100 种语言的文本到文本翻译 文本转语音翻译,支持近 100 种输入语言和 35种(+英语)输出语言 目前,SeamlessM4T已在 CC BY-NC 4.0 许可下发布,以便研究人员可以在此基础上进行开发。与此同时,Meta 还发布了一个多模式翻译数据集 SeamlessAlign,包含 270,000 小时的语音和文本对齐。 Meta 表示,现有的语音转语音和语音转文本程序仅覆盖世界上一小部分语言, 而SeamlessM4T 代表了语音到语音和语音到文本领域的重大突破,它解决了语言覆盖面有限和依赖独立系统的难题,将语音到语音的翻译任务分成多个阶段,跨越多个子系统。 “我们所面临的挑战是创建一个可以完成这一切的统一多语言模型。我们相信,我们今天宣布的工作是在这一征程中迈出的重要一步。我们的单一模式可提供按需翻...



