您现在的位置是：首页 > 文章详情

ChatGPT 参数规模很可能只有 7B（70 亿）

日期：2024-03-18点击：187收藏

南加州大学最新研究，ChatGPT参数规模很可能只有7B（70亿）。南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embedding size）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。

因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。数月前，曾有微软CODEFUSION论文意外泄露当时GPT-3.5模型参数为20B，在后续论文版本中又删除了这一信息。（量子位）

原文链接：https://www.oschina.net/news/283500

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。