李开复旗下 AI 公司“零一万物”开源的 Yi 大模型照搬 Llama 架构

“零一万物”是创新工场董事长兼 CEO 李开复于今年创办的 AI 大模型创业公司。上周该公司宣布推出 Yi-34B 和 Yi-6B 两个开源大模型。

在公开的报道中，该公司称 Yi 系列大模型拥有全球大模型中最长的上下文窗口。其中 Yi-34B 在 Hugging Face 英文测试榜单中位列第一，在 C-Eval 中文能力排行榜中超越所有开源模型。

不过在 Yi-34B 的 Hugging Face 主页上，有人指出 Yi 完全使用了 Llama 的架构——前者只是对后者的两个张量(Tensor)名称进行了修改，具体为 input_layernorm 和 post_attention_layernorm。

Llama 全称为 "Large Language Model Meta AI"，是 Meta 创建的大语言模型。今年 7 月，Meta 发布了 Llama 2，宣布完全开源，并可免费商用。

来源：https://huggingface.co/01-ai/Yi-34B/discussions/11

AI 领域知名专家贾扬清昨晚也在个人朋友圈点评了此事——不过并没有指名道姓：

贾扬清是开源深度学习框架 Caffe 创始人、TensorFlow 作者之一、也是 PyTorch 1.0 的共同创始人。

今年 3 月，贾扬清从阿里离职后联合创立了一家新的 AI 公司 Lepton AI，旨在建立高效的 AI 应用平台。

Lepton AI总部位于美国加利福尼亚州帕洛阿托，官网宣称可通过Lepton AI在几分钟内高效、大规模地运行 AI 应用。相比大模型，贾扬清团队更偏重 AI 能力的开发。