Hugging Face 日前联合 ServiceNow 发布了一个免费的大型语言模型 StarCoder（150 亿参数），该模型经过训练主要用途是可以生成代码，目的是为了对抗 GitHub Copilot 和亚马逊 CodeWhisperer 等基于 AI 的编程工具。

目前像是 GitHub Copilot 这样的 AI 编程工具都是偏商业化的产品，开发者需要付费订阅才能使用，而 StarCoder 可以让任何人（包括企业）免费使用。

AI 编程工具面临的另一个问题是，开发 AI 工具的这些科技公司通常都会使用网上公开的源代码来训练 AI，但这些数据集并没有获得授权，产生的代码也面临着法律、道德，以及代码归属等问题。比如 GitHub 现在就面临 Copilot 的集体诉讼。

为了避免这样的问题，StarCoder 则是在这两家公司获得授权的源代码上进行的训练，旨在以开放和负责任的方式为代码创建最先进的人工智能系统，授权的源代码涵盖了 80 种编程语言。

为了训练这样的模型，Hugging Face 使用了一个由 512 个 Nvidia V100 GPU 组成的内部计算集群来训练 StarCoder。

StarCoder 并不是严格意义上的开源 LLM 模型，它是在 OpenRAIL-M 许可下发布的，其中包括适用于修改模型和使用模型的限制，以及对分发恶意代码的限制。StarCoder 相关的支持代码目前已发布在 GitHub 上。