首页 文章 精选 留言 我的

精选列表

搜索[全球应用加速]，共10000篇文章
优秀的个人博客,低调大师

推理加速新选择！Xinference 1.16.0 支持瀚博 GPU 与持续批处理

Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。 Xinference 的功能和亮点有： 🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️ 前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！ 🖥 异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！ ⚙️ 接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。 🌐 集群计算，分布协同：支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。 🔌 开放生态，无缝对接：与流行的三方库无缝对接，包括 LangChain， LlamaIndex， Dify，以及 Chatbox。 ———————————————————————— ———————————————————————— 🚀 Xinference v1.16.0 更新日志 ✅ 本次亮点 🧩 瀚博半导体 GPU（VACC）支持 新增对瀚博半导体 GPU 的支持，并扩展到 VLM（视觉语言模型） 场景，硬件生态进一步完善。 🍎 Apple MLX 后端支持持续批处理（Continuous Batching） MLX 聊天模型现已支持持续批处理，可并发处理请求，显著提升吞吐与并发性能。 🧠 新模型支持 * Qwen-Image-Layered * Fun-ASR-Nano-2512 * Fun-ASR-MLT-Nano-2512 ⚠️ Python 版本支持变更 从本版本开始，不再支持 Python 3.9，请使用 Python 3.10 及以上版本。 🌐 社区版更新 📦 安装方式 pip 安装：pip install 'xinference==1.16.0' Docker：拉取最新版镜像或在容器内使用 pip 更新 🆕 新模型支持 Qwen-Image-Layered Fun-ASR-Nano-2512 Fun-ASR-MLT-Nano-2512 ✨ 新特性 vLLM 后端：新增对 DeepSeek-V3.2 / DeepSeek-V3.2-Exp 的 vLLM 引擎支持 VACC（瀚博半导体 GPU）：支持 LLM 与 VLM 推理 MLX：聊天模型支持持续批处理，实现并发推理 Rerank：支持异步批处理（async batch） 模型启动：新增 architectures 字段 UI：图像模型支持通过环境变量与自定义参数配置 MiniMaxM2ForCausalLM：新增 vLLM 后端支持 🛠 功能增强 副本分配优化，GPU index 分配更连续 Docker 镜像升级至 CUDA 12.9，使用 vLLM v0.11.2 支持 torchaudio 2.9.0 模型元数据（JSON）持续更新（DeepSeek、GLM、LLaMA、Jina、Z-Image 等） 🐞 Bug 修复 修复 PaddleOCR-VL 输出异常 修复自定义 embedding / rerank 分析错误 修复 CPU 启动与多 worker 启动异常 修复 OCR API 返回为空的问题 修复 n_gpu 参数处理问题 📚 文档更新 更新新模型说明 补充 v1.15.0 发布文档 🏢 企业版更新 昇腾性能优化：进一步提升在昇腾平台上的推理性能与稳定性 微调功能增强：强化微调流程与能力，支持更复杂的企业级训练与调优需求 参考 中文：https://xinference.cn/release_notes/v1.16.0.html 英文：https://xinference.io/release_notes/v1.16.0.html ———————————————————————— ———————————————————————— 我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持，也欢迎更多使用者和开发者参与体验和使用 Xinference。 欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标，这样你就可以在 GitHub 上及时收到每个新版本的通知。
2025-12-30

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-10-18 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册