首页 文章 精选 留言 我的

精选列表

搜索[图像分割],共10000篇文章
优秀的个人博客,低调大师

图像、OSS 与推理深度优化一次到位!

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。 Xinference 的功能和亮点有: 🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中! 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐! ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。 🌐 集群计算,分布协同:支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。 🔌 开放生态,无缝对接:与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。 ———————————————————————— ———————————————————————— 🚀 Xinference v1.9.0 更新日志 ✅ 本次亮点 🐍 gpt-oss 模型支持 🖼️ Qwen-Image 模型支持 ⚙️ Rerank 模型支持自由切换后端(含 vLLM 引擎) 🔧 Deepseek-R1-0528 支持 Function Calling 🔄 sglang 支持流式 Function Call 🌐 社区版更新 📦 安装方式 pip 安装:pip install 'xinference==1.9.0' Docker 使用:拉取最新版镜像,或在容器中使用 pip 更新 🆕 新模型支持 Qwen-Image gpt-oss GLM-4.5 quantized 模型 GLM-4.5v ✨ 新特性 rerank 模型支持自由切换引擎,支持 vLLM 引擎推理 Deepseek-R1-0528 支持 Function Calling sglang 支持流式 FunctionCall gpt-oss 支持 Harmony 格式解析 UI:运行中的模型页新增 Replica 显示列 🛠 功能增强 Qwen3 新模型加入工具调用模型列表 更新 Qwen3-Coder chat_template 支持 qwen-image gguf 格式 新增 flash_attention 控制参数 attn_implementation 使用 vLLM 引擎时清理 embedding 缓存 降级 flash-attn 为 2.7.4 保证兼容 新增 OpenFst 源以便构建 ASR 模型 🐞 Bug 修复 限定 datasets 版本避免冲突 修复 Qwen3 Reranker GPU 异常问题 修复旧版 vLLM 与 0.10.0 兼容性问题 修复 enable_thinking 导致 reasoning_content 错误 修复 async_client 删除错误 其他诸多稳定性修复 📚 文档更新 增加 CUDA 12.8 Docker 文档 更新 xllamacpp 使用说明 🏢 企业版更新(v0.2.1 发布) 本版本为大量 Bug Fix 与稳定性提升版本 我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持,也欢迎更多使用者和开发者参与体验和使用 Xinference。 欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在 GitHub 上及时收到每个新版本的通知。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册