百川智能发布 53B 大模型,预计今年内追上 GPT-3.5
搜狗创始人王小川创立的百川智能宣布推出新一代大模型 Baichuan-53B;但不同于此前发布的 7B 和 13B 模型,Baichuan-53B 并没有走开源路线。 “模型变大之后没有走开源的这样一种方式,因为大家部署起来成本也会非常的高,就是使用闭源让大家网上调用的方式。在我们的官网,大家已经可以申请内测试用了。在我们的计划里,我们后续 53B 也不会开源。” 目前 Baichuan-53B 已在官网开放内测申请,并将在下个月开放 API。按照计划,今年四季度,百川智能将发布千亿参数的大模型,预计将追上 GPT-3.5 的水平。此外王小川对 Founder Park 透露,百川智能的开源模型也将在今年内发布升级版本。 百川强调了 Baichuan-53B 的三个技术优势:预训练数据、搜索增强和对齐能力,其中前两者与百川团队中丰富的搜索引擎经验有较强相关性。 预训练数据 预训练阶段,王小川表示,此前团队做搜索引擎的经验,让百川能够又快又好地完成前期数据积累,这也是百川此前两款开源模型能够迅速推出的原因之一。 百川希望构建一个全面的世界知识体系,覆盖各个领域和学科的知识,通过整合各类信...




