让模型推理变得轻而易举 —— Xinference v 0.13.0 新版本@了你！-低调大师

让模型推理变得轻而易举 —— Xinference v 0.13.0 新版本@了你！

2024-07-11 527

Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。

Xinference的功能和亮点有：

🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
⚡️ 前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！
🖥 异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！
⚙️ 接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。
🌐 集群计算，分布协同: 支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。
🔌 开放生态，无缝对接: 与流行的三方库无缝对接，包括 LangChain，LlamaIndex，Dify，以及 Chatbox。

🎉 Xinference快速迭代，v0.13.0 已正式发布！！！Apple M系列专用后端 MLX 来临，Mac 上加速高达 40% 🚀。目前已支持 qwen2 和 gemma-2。阿里云镜像也如约而至，且容量大幅缩减，解决大家在国内拉取 docker 的痛点。详细更新内容如下：

新增内置支持模型 📦
qwen2 gguf格式 📝
gemma-2-it 💻

新功能 🚀

transformers推理后端支持开启continuous batching(连续批处理)，优化LLM同时服务多请求的吞吐。支持generate / chat / vision任务，欢迎试用。详见：https://inference.readthedocs.io/zh-cn/latest/user_guide/continuous_batching.html 📊
支持mac arm芯片平台下的高速推理引擎MLX 🍏
官方GPU镜像以vllm镜像为基础进行重构。大幅减少镜像体积，要求宿主机cuda版本12.4+和nvidia驱动版本550+。详见：https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html 🎥
官方镜像支持从阿里云服务中拉取。详见：https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html ☁️
新增更多日志模块。现在与请求相关的详细的uvicorn日志将被记录在日志文件中，同时transformers和vllm在命令行和文件中也会有更详细的日志 📑

BUG修复 🐛

修复glm4 tool call的问题 🔧
修复rerank接口curl和python客户端返回documents行为不一致的问题 📜
更新glm4v模型的版本号，修复多GPU使用等若干问题。已下载的用户删除后重新下载即可 🔄
修复LLM为基础的rerank计算报错的问题 💡
修复deepseek-vl-chat模型缺少依赖的问题 🔗

UI相关 💻

优化鉴权模式下的使用体验 🔐

我们感谢每一位参与的社区伙伴对Xinference的帮助和支持，也欢迎更多使用者和开发者参与体验和使用Xinference。https://github.com/xorbitsai/inference 给我们一个星标，遮掩给你就可以在GitHub上及时收到每个新版本的通知。

微信关注我们

原文链接：https://www.oschina.net/news/301610/xinference-0-13-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

vxe-table 4.7.48 已经发布，vue 表格解决方案

vxe-table 4.7.48 已经发布，vue 表格解决方案此版本更新内容包括：更新 ts 类型 table 渲染器支持 VxeTreeSelect 修复单元格样式问题详情查看：https://gitee.com/xuliangzhan_admin/vxe-table/releases/4.7.48

2024-07-11

279

领域驱动|事件驱动|测试驱动|声明式设计|响应式编程|命令查询职责分离|事件溯源官方文档：https://wow.ahoo.me/ 更新内容特性(core): 添加RecoverAggregateAPI 以支持恢复已删除的聚合根。特性(core): 添加generateGlobalId便捷的生成全局ID。特性(core):SimpleServiceProvider支持Copy。特性(test): 在测试编排fork后使用复制的ServiceProvider作为上下文，以防止不同的测试编排上下文依赖注入混乱。特性(test):fork支持自定义新上下文ServiceProvider和CommandAggregateFactory。特性(test): 添加functionFilter以支持单个Saga中的多个函数订阅同一事件。简介 Wow是一个基于领域驱动设计和事件溯源的现代响应式CQRS微服务开发框架，历经多年生产环境验证。旨在帮助开发者构建现代化的、高性能且易于维护的微服务应用程序，充分发挥领域驱动设计和事件溯源等模式优势的同时降低应用的复杂性以及实践成本。值得一提...

2024-07-12

247

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。