首页 文章 精选 留言 我的

精选列表

搜索[智能客服系统],共10000篇文章
优秀的个人博客,低调大师

【Xinference v0.13.1 正式发布】一键部署 AI 模型,开启智能推理新纪元!

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。 Xinference的功能和亮点有: 🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中! 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐! ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。 🌐 集群计算,分布协同: 支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。 🔌 开放生态,无缝对接: 与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。 🎉 Xinference v0.13.1 正式发布! - 新增内置支持模型 📦 - glm4-chat gguf格式 📝 - 新功能 🚀 - 注册自定义模型接口可支持指定worker_ip。现在配合launch模型接口的worker_ip参数,可以在分布式场景下仅在一个worker上传模型文件,然后部署使用 🌐 - Launch模型接口支持download_hub参数,以最高优先级控制从哪里下载模型 📥 - 全新 Flexible 模型,支持部署任意模型(文本分类,情感识别等等),下个版本将发布相关使用文档 📚 - 移除对chatglm-cpp的支持,移除chatglm chatglm2 chatglm3的ggmlv3老模型格式的支持。glm系列推荐使用glm4。后续将持续移除一些ggmlv3的老模型 🗑️ - 移除对LLM模型create_embedding的支持 ❌ - BUG修复 🐛 - 修复chatTTS的若干问题。现在直接使用chatTTS自身的依赖,更加可靠 🔧 - 修复GPU docker镜像中无法安装最新版llama-cpp-python的问题。目前仅CPU docker镜像中因其自身问题仍保持旧版llama-cpp-python 🐍 - UI相关 💻 - 修复记忆上一次launch参数功能的一些问题 📝 - 修复一些模型页面上无法显示是否已cache的问题 📊 - Launch页面可选配置中可以选择模型下载来源 🔄 我们感谢每一位参与的社区伙伴对Xinference的帮助和支持,也欢迎更多使用者和开发者参与体验和使用Xinference。 欢迎您在https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在GitHub上及时收到每个新版本的通知。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册