🎉Xinference v0.13.2 速递：模型推理新飞跃，AI 探索再升级！-低调大师

🎉Xinference v0.13.2 速递：模型推理新飞跃，AI 探索再升级！

2024-07-22 370

Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。

Xinference 的功能和亮点有：

🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。

⚡️ 前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！

🖥 异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！

⚙️ 接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。

🌐 集群计算，分布协同: 支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。

🔌 开放生态，无缝对接: 与流行的三方库无缝对接，包括 LangChain， LlamaIndex， Dify，以及 Chatbox。

🎉 Xinference v0.13.2 正式发布！

* 新增内置支持模型
   * gemma2-it gguf格式 🧠
   * codegeex4 💻
   * internlm2.5-chat 和 internlm2.5-chat-1m 🗨️
* 新功能
   * 图像模型（stable diffusion）新增inpainting相关的模型和能力 🖼️
   * ChatTTS支持stream输出 🎙️
* BUG修复
   * 修复vllm使用curl stream chat时中文返回unicode字符的问题 🇨🇳
   * 修复sglang 由于stream_option未设置导致stream行为异常的问题 🌊

我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持，也欢迎更多使用者和开发者参与体验和使用 Xinference。

欢迎您在 https://github.com/xorbitsai/inference 给我们一个星标，这样你就可以在 GitHub 上及时收到每个新版本的通知。

微信关注我们

原文链接：https://www.oschina.net/news/303396/xinference-0-13-2-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

vxe-table 4.7.58 已经发布，vue 表格解决方案

vxe-table 4.7.58 已经发布，vue 表格解决方案此版本更新内容包括： table 修复校验样式问题优化 getRecordset 逻辑，当被删除时，数据不再重复放到更新集合 grid （v4保留兼容）废弃 proxy-config.message 被 showResponseMsg 和 showActiveMsg 替换增加参数 proxy-config.showResponseMsg 增加参数 proxy-config.showActiveMsg 详情查看：https://gitee.com/xuliangzhan_admin/vxe-table/releases/4.7.58

2024-07-22

294

大家好！禅道20.3.stable发布啦！本次发布新增客户端缓存和平滑更新机制，能加快用户打开页面的速度，减少页面布局抖动，提升用户体验。平滑更新机制取代了原直接替换 HTML 的行为，能减少页面更新产生的页面布局变化、视觉上发生抖动的情况，具体方式为当使用LoadPage进行页面更新时（禅道大部分页面跳转和更新都是），会将需要更新的HTML与现有的HTML进行差异化比较，仅修改有变化的元素，甚至是只修改元素上的某个属性，当HTML中包含ZUI3组件时会自动使用新的选项调用组件Render方法重新进行渲染。客户端缓存是将每次页面更新请求获取的HTML缓存到客户端，下次相同的请求时直接从缓存中读取HTML立即更新到页面上，然后再从服务器获取最新的HTML，如果最新的HTML与缓存一致，则不会再执行更新操作，如果不一致，则使用服务器最新的HTML重新更新页面，并同时更新本地的缓存内容。我们相信新版本将为用户带来更好的使用体验和更高的工作效率。感谢大家一直以来的支持和反馈，我们将继续努力提供更优秀的产品和服务！新增功能点体验：平滑更新机制客户端缓存禅道本次发布数据如下：本期...

2024-07-23

325

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。