1000 多名研究人员参与，BigScience 开源迄今最大规模语言模型
BigScience 的研究人员近日发布了一个名为 Bloom 的自然语言处理模型，该模型具有 1760 亿个参数，一举超越市面上的所有竞争对手，成为目前规模最大的语言模型。
该项目始于去年，由人工智能初创公司 Hugging Face Inc.（最近融资了 1 亿美元）与法国研究机构 CNRS 和 GENCI 合作，他们共同成立了一个名为 BigScience 的研究小组来领导 Bloom 的开发。该项目汇集了 70 多个国家/地区、250 多个机构、1000 多名研究人员参与开发。
语言模型的开发成本历来很高，以现在知名度很高的 GPT-3 为例，其成本高达 2760 万美元。这也是这类模型通常被牢牢掌握在微软、Meta、Google 和 OpenAI 等大型科技公司手中的原因。
除此之外，这类大型科技公司开发的语言模型在使用上也有一些限制条件，比如 OpenAI 开发的 GPT-3 并不开源；Meta 开发的 OPT-175B 虽然开源，但完整的模型只有在提出申请后才能获得，并且只能用于非商业用途。而 Bloom 就完全不同，并没有这些限制，任何个人或机构都可以免费获得 1760 亿个参数的完整模型。
Bloom 拥有 1760 亿个参数，一个人工智能系统包含的此类参数越多，它能够执行的任务就越高级。所以 Bloom 目前支持 46 种语言（包括中文）和 13 种编程语言，可以用来回答问题、翻译文本、从文件中提取信息片段，还能像 GitHub Copilot 一样用于生成代码。
BigScience 的研究人员使用巴黎附近的 Jean Zay 超级计算机对 Bloom 进行了训练。这台超级计算机配备了英伟达专为 AI 优化的显卡，其最高速度超过 28 petaflops，其中 1 petaflop 等于每秒 1 千万亿次的计算量。
在未来，该研究小组计划开发一个具有更先进功能的新版 Bloom。BigScience 还打算增加对更多语言的支持，优化人工智能，使其更容易在公司自己的基础设施上运行。除此之外，他么还会积极研究并消除这类模型对宗教、性别、种族和残障人士所怀有的偏见。
Bloom 项目的代码放在了 Hugging Face 的官网上（链接），并没有放在常见的 GitHub 等代码托管平台。
