热门搜索:
您现在的位置是：首页 > 文章详情

OpenLLM —— 操作大语言模型的开放平台

日期：2023-06-27点击：1390

OpenLLM 是一个生产级的操作大语言模型 (LLM) 的开放平台。支持便捷 Fine-tune 微调、Serve 模型服务、部署和监控任何 LLM。借助 OpenLLM，可以使用任何开源大语言模型运行推理，部署到云端或本地，并构建强大的 AI 应用程序。

OpenLLM 特性包括：

  • 先进的 LLM：内置支持各种开源 LLM 和模型运行时，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
  • 灵活的 API：只需一个命即可通过 RESTful API 或 gRPC 为 LLM 提供服务，并通过 WebUI、CLI、Python/Javascript 客户端或任何 HTTP 客户端进行查询。
  • 自由构建：对 LangChain、BentoML 和 Hugging Face 具有一级支持，可以通过将 LLM 与其它模型和服务组合来轻松创建自己的 AI 应用程序。
  • 简化部署：自动生成 LLM 服务器 Docker 镜像或通过 BentoCloud 部署为无服务器端节点。
  • 自建 LLM：使用 LLM.tuning() 微调任何 LLM 以满足特定需求。 （即将推出）

支持模型：

Model CPU GPU Installation Model Ids
flan-t5 ✅ ✅ 
 pip install "openllm[flan-t5]"
dolly-v2 ✅ ✅ 
 pip install openllm
chatglm ❌ ✅ 
 pip install "openllm[chatglm]"
starcoder ❌ ✅ 
 pip install "openllm[starcoder]"
falcon ❌ ✅ 
 pip install "openllm[falcon]"
stablelm ✅ ✅ 
 pip install openllm
opt ✅ ✅ 
 pip install openllm

 

原文链接：https://www.oschina.net/p/openllm
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章