首页 文章 精选 留言 我的

精选列表

搜索[图像感知],共10000篇文章
优秀的个人博客,低调大师

图像、OSS 与推理深度优化一次到位!

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。 Xinference 的功能和亮点有: 🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中! 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐! ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。 🌐 集群计算,分布协同:支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。 🔌 开放生态,无缝对接:与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。 ———————————————————————— ———————————————————————— 🚀 Xinference v1.9.0 更新日志 ✅ 本次亮点 🐍 gpt-oss 模型支持 🖼️ Qwen-Image 模型支持 ⚙️ Rerank 模型支持自由切换后端(含 vLLM 引擎) 🔧 Deepseek-R1-0528 支持 Function Calling 🔄 sglang 支持流式 Function Call 🌐 社区版更新 📦 安装方式 pip 安装:pip install 'xinference==1.9.0' Docker 使用:拉取最新版镜像,或在容器中使用 pip 更新 🆕 新模型支持 Qwen-Image gpt-oss GLM-4.5 quantized 模型 GLM-4.5v ✨ 新特性 rerank 模型支持自由切换引擎,支持 vLLM 引擎推理 Deepseek-R1-0528 支持 Function Calling sglang 支持流式 FunctionCall gpt-oss 支持 Harmony 格式解析 UI:运行中的模型页新增 Replica 显示列 🛠 功能增强 Qwen3 新模型加入工具调用模型列表 更新 Qwen3-Coder chat_template 支持 qwen-image gguf 格式 新增 flash_attention 控制参数 attn_implementation 使用 vLLM 引擎时清理 embedding 缓存 降级 flash-attn 为 2.7.4 保证兼容 新增 OpenFst 源以便构建 ASR 模型 🐞 Bug 修复 限定 datasets 版本避免冲突 修复 Qwen3 Reranker GPU 异常问题 修复旧版 vLLM 与 0.10.0 兼容性问题 修复 enable_thinking 导致 reasoning_content 错误 修复 async_client 删除错误 其他诸多稳定性修复 📚 文档更新 增加 CUDA 12.8 Docker 文档 更新 xllamacpp 使用说明 🏢 企业版更新(v0.2.1 发布) 本版本为大量 Bug Fix 与稳定性提升版本 我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持,也欢迎更多使用者和开发者参与体验和使用 Xinference。 欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在 GitHub 上及时收到每个新版本的通知。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册