StableLM —— Stability AI 开发的语言模型
StableLM 项目仓库包含 Stability AI 正在开发的 StableLM 系列语言模型,目前 Stability AI 发布了初始的 StableLM-alpha 模型集,具有 30 亿和 70 亿参数。150 亿和 300 亿参数的模型正在开发中。 Stability AI 目前在 HuggingFace Spaces 上发布了 70 亿参数模型 —— StableLM-Tuned-Alpha-7B 的演示版本,用户可以访问该网站试用。 StableLM-Alpha 模型是在建立在扩展版 the Pile 数据集基础上训练的,该数据集包含 1.5 万亿个 tokens,扩展版数据集大小大约是 the Pile 的 3 倍。 Size StableLM-Base-Alpha StableLM-Tuned-Alpha Training Tokens Parameters Web Demo 3B checkpoint checkpoint 800B 3,638,525,952 7B checkpoint checkpoint 800B 7,869,358,080 Huggi...
