Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。 Xinference 的功能和亮点有：

• 🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
• ⚡️ 前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！
• 🖥 异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！
• ⚙️ 接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。
• 🌐 集群计算，分布协同：支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。
• 🔌 开放生态，无缝对接：与流行的三方库无缝对接，包括 LangChain， LlamaIndex， Dify，以及 Chatbox。

————————————————————————  ————————————————————————

🚀 Xinference v1.16.0 更新日志

✅ 本次亮点

• 🧩 瀚博半导体 GPU（VACC）支持 新增对瀚博半导体 GPU 的支持，并扩展到 VLM（视觉语言模型） 场景，硬件生态进一步完善。

• 🍎 Apple MLX 后端支持持续批处理（Continuous Batching） MLX 聊天模型现已支持持续批处理，可并发处理请求，显著提升吞吐与并发性能。

• 🧠 新模型支持     * Qwen-Image-Layered      * Fun-ASR-Nano-2512      * Fun-ASR-MLT-Nano-2512

• ⚠️ Python 版本支持变更 从本版本开始，不再支持 Python 3.9，请使用 Python 3.10 及以上版本。

🌐 社区版更新

📦 安装方式

• pip 安装：pip install 'xinference==1.16.0'
• Docker：拉取最新版镜像或在容器内使用 pip 更新

🆕 新模型支持

• Qwen-Image-Layered
• Fun-ASR-Nano-2512
• Fun-ASR-MLT-Nano-2512

✨ 新特性

• vLLM 后端：新增对 DeepSeek-V3.2 / DeepSeek-V3.2-Exp 的 vLLM 引擎支持
• VACC（瀚博半导体 GPU）：支持 LLM 与 VLM 推理
• MLX：聊天模型支持持续批处理，实现并发推理
• Rerank：支持异步批处理（async batch）
• 模型启动：新增 architectures 字段
• UI：图像模型支持通过环境变量与自定义参数配置
• MiniMaxM2ForCausalLM：新增 vLLM 后端支持

🛠 功能增强

• 副本分配优化，GPU index 分配更连续
• Docker 镜像升级至 CUDA 12.9，使用 vLLM v0.11.2
• 支持 torchaudio 2.9.0
• 模型元数据（JSON）持续更新（DeepSeek、GLM、LLaMA、Jina、Z-Image 等）

🐞 Bug 修复

• 修复 PaddleOCR-VL 输出异常
• 修复自定义 embedding / rerank 分析错误
• 修复 CPU 启动与多 worker 启动异常
• 修复 OCR API 返回为空的问题
• 修复 n_gpu 参数处理问题

📚 文档更新

• 更新新模型说明
• 补充 v1.15.0 发布文档

🏢 企业版更新

• 昇腾性能优化：进一步提升在昇腾平台上的推理性能与稳定性
• 微调功能增强：强化微调流程与能力，支持更复杂的企业级训练与调优需求

参考

• 中文：https://xinference.cn/release_notes/v1.16.0.html
• 英文：https://xinference.io/release_notes/v1.16.0.html

————————————————————————  ————————————————————————

我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持，也欢迎更多使用者和开发者参与体验和使用 Xinference。   欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标，这样你就可以在 GitHub 上及时收到每个新版本的通知。