1000 多名研究人员参与,BigScience 开源迄今最大规模语言模型
BigScience 的研究人员近日发布了一个名为 Bloom 的自然语言处理模型,该模型具有 1760 亿个参数,一举超越市面上的所有竞争对手,成为目前规模最大的语言模型。 该项目始于去年,由人工智能初创公司 Hugging Face Inc.(最近融资了 1 亿美元)与法国研究机构 CNRS 和 GENCI 合作,他们共同成立了一个名为 BigScience 的研究小组来领导 Bloom 的开发。该项目汇集了 70 多个国家/地区、250 多个机构、1000 多名研究人员参与开发。 语言模型的开发成本历来很高,以现在知名度很高的 GPT-3 为例,其成本高达 2760 万美元。这也是这类模型通常被牢牢掌握在微软、Meta、Google 和 OpenAI 等大型科技公司手中的原因。 除此之外,这类大型科技公司开发的语言模型在使用上也有一些限制条件,比如 OpenAI 开发的 GPT-3 并不开源;Meta 开发的 OPT-175B 虽然开源,但完整的模型只有在提出申请后才能获得,并且只能用于非商业用途。而 Bloom 就完全不同,并没有这些限制,任何个人或机构都可以免费获得 1760...
