70 亿参数大语言模型 RedPajama 7B 完整版发布,开源可商用
TOGETHER 宣布其 RedPajama 7B 已完成所有训练,并在 Apache 2.0 许可下全部开源。 RedPajama 是一个开源可商用大模型项目,由 TOGETHER 联合蒙特利尔大学的 AAI CERC 实验室、EleutherAI 和 LAION 共同发起。目前包括一个基于 LLaMA 论文的 RedPajama 基础数据集(5 TB 大小),自 4 月份发布至今已被下载数千次,并被用来训练了 100 多个模型;以及一个在 5 月份就宣布训练完成的 RedPajama 3B,和刚宣布训练完成的 RedPajama 7B 大模型。 RedPajama-INCITE-7B-Base 在 RedPajama-1T 数据集的 1T tokens上进行训练,并发布了训练和开放数据生成脚本的 10 个 checkpoints,允许模型的完全可重复性。该型号在 HELM 上落后 LLaMA-7B4 分,落后 Falcon-7B/MPT-7B 1.3 分。 RedPajama-INCITE-7B-Instruct 是 HELM 基准测试中得分最高的开放模型,使其成为各种任务的理想选...
