零一万物 Yi-1.5-34B 开源小尺寸打平千亿模型
零一万物旗下 Yi-1.5-34B 近日在 Chatbot Arena 总榜中以 1162 的 ELO 积分超越了 GPT-4-0613、Mistral-large-2402 等知名海外厂商发布的大尺寸模型,与 Qwen1.5-110B-Chat 并列第20名(2024.6.6)。 在中文分榜上,Yi-1.5-34B 以 1274 的 ELO 积分跻身世界前十,同时在采用 Apache 2.0 许可协议的模型中位居第一(2024.6.6)。零一万物称其可谓是开源界中小模型中最能打的羽量级选手,LMSYS 评测组织方也发帖进行了恭贺。 相比 7B、13B 等尺寸,34B 模型具备更优越的知识容量、下游任务的容纳能力,也达到了大模型 “涌现”的门槛;而比起 70B 以上的参数量,34B 是单卡推理可接受的模型尺寸的上限,经过量化的模型可以在一张消费级显卡(如4090)上进行高效率的推理。因此,34B 的模型尺寸在开源社区属于稀缺的“黄金比例”尺寸。也是基于这一认知,零一万物正式开源的首款预训练大模型就是 Yi-34B。 相较于去年 11 月的开源版本,这次的 Yi-1.5-34B 在保持原...
