Xinference 更新速递:v0.16.3 带来全面升级与优化!
Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。
Xinference 的功能和亮点有:
- * 🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
- * ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中!
- * 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐!
- * ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。
- * 🌐 集群计算,分布协同:支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。
- * 🔌 开放生态,无缝对接:与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。
🎉 Xinference v0.16.3 发布!让我们看看都带来了什么更新✨。
🌐 社区版
📋 更新指南
* 🏷️ pip:pip install 'xinference==0.16.3’
* 🐳 Docker:拉取最新版本即可,也可以直接在镜像内用 pip 更新🆕 更新日志
* 新模型
* 🦙 Llama 3.2-vision 多模态模型
* 新功能
* 📈 日志优化及调试优化,在进程名中显示模型的名字
* 🐞 BUG修复
* 修复 transformers 等日志不显示的问题
* 兼容最新版 ChatTTS🏢 企业版
* 企业版双周更新,本周暂无进度。
☁️ 云上版本
1. BrillAI 文本对话的输出音频播放修改为流式接口🎧。
2. 修复 BrillAI 充值页面积分的问题👍。
我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持,也欢迎更多使用者和开发者参与体验和使用 Xinference。
欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在 GitHub 上及时收到每个新版本的通知。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Visual Studio 2022 v17.12 发布,支持 .NET 9
Visual Studio 2022 版本 17.12 正式发布 (GA),本次更新主要致力于为开发人员提供 .NET 9 项目使用体验和新的 AI 生产力功能。 Productivity 从错误列表复制:从错误列表复制错误现在只会复制描述而不是将整行复制到剪贴板。 转到代码搜索中的任意行:在代码搜索中,现在可以导航到当前文档或其他指定文档中的特定行。 停靠代码搜索窗口:现在可以自由定位代码搜索窗口,并使用停靠和自动隐藏等功能。 自定义折叠文本指示器:在 Visual Studio 编辑器中为折叠文本指示器设置自定义颜色。 刷新查找结果:现在可以刷新上一次查找的结果以获取最新的搜索匹配。 水平滚动条的更多空间:现在可以控制 CodeLens 中文件级别指示器的可见性。 保存时的 Non-blocking Code Cleanup:当保存时运行 Code Cleanup 时,它现在以 non-blocking 方式运行,以获得更流畅的编码体验。 GitHub Copilot AI 智能变量检查:通过集成的 AI 变量检查优化调试工作流程。 AI 驱动的 IEnumerable 可视化工具...
- 下一篇
avue v2.13.2 已经发布,基于 Element 的前端框架
avue v2.13.2 已经发布,基于 Element 的前端框架 此版本更新内容包括: v2.13.2 2024-11-14 新增 Input 组件 appendClick 和 prependClick 点击新增当前文本值参数gitee_IB054X Tree 组件新增 boxType 属性gitee_IB0LYZ 修复 Crud 组件修复拖拽排序序号问题gitee_IAZIUG Crud 组件行编辑无法保存问题gitee_IB0RIL Crud 组件 search 搜索中 searchMenuSpan 不生效gitee_IB2IR2 InputTable 组件下单选为空无法翻页问题 优化 Crud 组件 grid 模式下 loading 显示gitee_IB0WAF 详情查看:https://gitee.com/smallweigit/avue/releases/v2.13.2 询问AI
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- 2048小游戏-低调大师作品
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS关闭SELinux安全模块