Ai2 发布 OLMo 2：迄今为止最好的完全开放语言模型

由已故的微软联合创始人 Paul Allen 创立的非营利性 AI 研究机构 Ai2 (Allen Institute for AI) 最新发布了 OLMo 2 系列模型，这是该机构推出的“Open Language Model (OLMo)”系列的第二代模型。

第一个 OLMo 于今年 2 月份发布。与 Meta 的 Llama 系列不同的是，OLMo 2 符合 OSI 对开源 AI 的定义，这意味着用于其开发的工具和数据都是公开的，任何人都可以访问和使用。

“OLMo 2 是一系列完全开放的语言模型，从头到尾都采用开放且可访问的训练数据、开源训练代码、可重复的训练方案、透明的评估、中间检查点等进行开发。通过公开分享我们的数据、方案和发现，我们希望为开源社区提供发现新方法和创新方法所需的资源。”

OLMo 2 系列包含了一套全新的 7B 和 13B 模型系列，使用多达 5T 个 token 进行训练。Ai2 声称，一系列基准测试表明 OLMo 2 7B 和 13B 是迄今为止最好的全开放模型，通常比同等大小的开放权重模型表现更好。

且与之前的 OLMo 0424 模型相比所有任务的性能都有显著提高。尽管总训练 FLOP 较低，OLMo 2 7B 的表现优于 LLama-3.1 8B，OLMo 2 13B 的表现优于 Qwen 2.5 7B。

OLMo 2 模型及其所有组件均可从 Ai2 网站下载，遵循 Apache 2.0 许可。

询问AI