李开复旗下 AI 公司“零一万物”开源的 Yi 大模型照搬 Llama 架构
“零一万物”是创新工场董事长兼 CEO 李开复于今年创办的 AI 大模型创业公司。上周该公司宣布推出Yi-34B 和Yi-6B 两个开源大模型。 在公开的报道中,该公司称 Yi 系列大模型拥有全球大模型中最长的上下文窗口。其中 Yi-34B 在 Hugging Face 英文测试榜单中位列第一,在 C-Eval 中文能力排行榜中超越所有开源模型。 不过在Yi-34B 的 Hugging Face 主页上,有人指出 Yi 完全使用了 Llama 的架构——前者只是对后者的两个张量(Tensor)名称进行了修改,具体为 input_layernorm 和 post_attention_layernorm。 Llama 全称为 "Large Language Model Meta AI",是 Meta 创建的大语言模型。今年 7 月,Meta 发布了 Llama 2,宣布完全开源,并可免费商用。 来源:https://huggingface.co/01-ai/Yi-34B/discussions/11 AI 领域知名专家贾扬清昨晚也在个人朋友圈点评了此事——不过并没有指名道姓: 贾扬清是开源...
