AI2 开源新 LLM，重新定义 open AI
艾伦人工智能研究所（Allen Institute for AI，简称 AI2）宣布推出一个名为 OLMo 7B 的新大语言模型，并开源发布了预训练数据和训练代码。OLMo 7B 被描述为“一个真正开放的、最先进的大型语言模型”。 AI2 是由已故的微软公司联合创始人保罗-艾伦（Paul Allen）于 2014 年在西雅图创办的一家非营利组织。该组织表示，他们开源 OLMo 模型旨在让 AI 研究社区充分了解最先进的大语言模型（LLM），从而推动自然语言处理的发展，并以科学的方式正视现有 LLM 存在的问题。 “通过向公众完全开放 OLMo 及其训练数据，AI2 在协作构建世界上最好的开放语言模型方面迈出了一大步。” OLMo 框架具有一套完全开放的 AI 开发工具，包括： 完整的预训练数据：该模型建立在 AI2 的 Dolma 语料库上，该语料库具有三万亿个用于语言模型预训练的 token 开放语料，包括生成训练数据的代码。 训练代码和模型权重： OLMo 框架包括 7B 规模的四个模型变体的完整模型权重，每个模型至少训练有 2T token。提供了推理代码、训练指标和训练日志。 ...
