百川智能发布 70 亿参数开源中英文大模型 baichuan-7B

6月15日，搜狗创始人王小川创立的百川智能公司宣布推出 70 亿参数量的中英文预训练大模型——baichuan-7B。

baichuan-7B 是由百川智能开发的一个开源的大规模预训练模型。基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。

目前 baichuan-7B 大模型已在 Hugging Face、GitHub 以及 Model Scope 平台发布。baichuan-7B 代码采用 Apache-2.0 协议，模型权重采用了免费商用协议，只需进行简单登记即可免费商用。

• Hugging Face：https://huggingface.co/baichuan-inc/baichuan-7B
• Github：https://github.com/baichuan-inc/baichuan-7B
• Model Scope：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary

据介绍，baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 中文权威评测榜单上，超过了 ChatGLM-6B 等其他大模型，并且在 MMLU 英文权威评测榜单上，领先 LLaMA-7B。