东北大学开源多语言翻译模型 NiuTrans.LMT
东北大学“小牛翻译”团队近日正式开源其最新大模型——NiuTrans.LMT(Large-scale Multilingual Translation),一举实现60种语言、234个翻译方向的全覆盖,不仅以中文与英文为双核心构建全球语言桥梁,更在藏语、阿姆哈拉语等29种低资源语言上取得显著突破。 区别于多数以英语为唯一枢纽的翻译模型,NiuTrans.LMT采用中-英双中心设计,支持中文↔58种语言、英文↔59种语言的高质量直译,避免“中文→英文→小语种”的二次失真。 13种高资源语言(如法语、阿拉伯语、西班牙语):翻译流畅度媲美人类; 18种中资源语言(如印地语、芬兰语):在专业术语与语法结构上高度准确; 29种低资源语言(含藏语、斯瓦希里语、孟加拉语等):通过数据增强与迁移学习,实现从“不可译”到“可用译”的跨越。 NiuTrans.LMT 的两阶段训练流程如下: 继续预训练(CPT):在900亿tokens的多语言语料上均衡学习,确保小语种不被淹没; 监督微调(SFT):整合FLORES-200、WMT等高质量平行语料(56.7万条样本,覆盖117方向),精调翻译准确性与风格一致...
