首页 文章 精选 留言 我的

精选列表

搜索[智能体执行环境],共10000篇文章
优秀的个人博客,低调大师

【Xinference v0.13.1 正式发布】一键部署 AI 模型,开启智能推理新纪元!

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。 Xinference的功能和亮点有: 🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中! 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐! ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。 🌐 集群计算,分布协同: 支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。 🔌 开放生态,无缝对接: 与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。 🎉 Xinference v0.13.1 正式发布! - 新增内置支持模型 📦 - glm4-chat gguf格式 📝 - 新功能 🚀 - 注册自定义模型接口可支持指定worker_ip。现在配合launch模型接口的worker_ip参数,可以在分布式场景下仅在一个worker上传模型文件,然后部署使用 🌐 - Launch模型接口支持download_hub参数,以最高优先级控制从哪里下载模型 📥 - 全新 Flexible 模型,支持部署任意模型(文本分类,情感识别等等),下个版本将发布相关使用文档 📚 - 移除对chatglm-cpp的支持,移除chatglm chatglm2 chatglm3的ggmlv3老模型格式的支持。glm系列推荐使用glm4。后续将持续移除一些ggmlv3的老模型 🗑️ - 移除对LLM模型create_embedding的支持 ❌ - BUG修复 🐛 - 修复chatTTS的若干问题。现在直接使用chatTTS自身的依赖,更加可靠 🔧 - 修复GPU docker镜像中无法安装最新版llama-cpp-python的问题。目前仅CPU docker镜像中因其自身问题仍保持旧版llama-cpp-python 🐍 - UI相关 💻 - 修复记忆上一次launch参数功能的一些问题 📝 - 修复一些模型页面上无法显示是否已cache的问题 📊 - Launch页面可选配置中可以选择模型下载来源 🔄 我们感谢每一位参与的社区伙伴对Xinference的帮助和支持,也欢迎更多使用者和开发者参与体验和使用Xinference。 欢迎您在https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在GitHub上及时收到每个新版本的通知。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册