vLLM-Omni 上线：多模态推理更简单、更快、更省-低调大师

vLLM-Omni 上线：多模态推理更简单、更快、更省

2025-12-02 39

vLLM 团队正式发布 vLLM-Omni：这是 vLLM 生态向“全模态（omni-modality）”时代迈出的关键一步，专门为新一代看得见、听得懂、会说话、能生成多种媒介的模型设计的推理框架。

自项目开始，vLLM 一直专注于为大语言模型（LLM）提供高吞吐、低显存的推理能力。但今天的生成式模型已经远不止“文本输入、文本输出”：新的模型可以同时理解和生成文本、图像、音频、视频，背后也不再是单一自回归架构，而是由编码器、语言模型、扩散模型等异构组件拼接而成。

vLLM-Omni 是最早一批支持“omni-modality”模型推理的开源框架之一，它把 vLLM 在文本推理上的性能优势，扩展到了多模态和非自回归推理领域。

vLLM-Omni 不是在 vLLM 外面再包一层，而是从数据流（data flow）的角度重新拆解了整个推理路径。它引入了一个完全解耦的流水线架构，让不同阶段可以按需分配资源，并通过统一调度衔接起来。

在这套架构中，一个 omni-modality 推理请求大致会经过三类组件：

模态编码器（Modality Encoders）：负责高效地把多模态输入编码成向量或中间表示，例如 ViT 视觉编码器、Whisper 等语音编码器。
LLM 核心（LLM Core）：基于 vLLM 的自回归文本/隐藏状态生成部分，可以是一个或多个语言模型，用于思考、规划和多轮对话。
模态生成器（Modality Generators）：用于生成图片、音频或视频的解码头，例如 DiT 等扩散模型。

这些组件并不是简单串联，而是通过 vLLM-Omni 的管线调度在不同 GPU/节点间协同工作。对于工程团队来说，这意味着：

可以针对不同阶段单独做扩缩容和部署拓扑设计；
可以根据业务瓶颈（如图像生成 vs 文本推理）调整资源分配；
可以在不破坏整体架构的前提下替换局部组件（例如切换为新的视觉编码器）。

代码与文档：
GitHub 仓库：https://github.com/vllm-project/vllm-omni
文档站点：https://vllm-omni.readthedocs.io/en/latest/

微信关注我们

原文链接：https://www.oschina.net/news/387104/vllm-omni

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

项目性能优化实践：深入 FMP 算法原理探索

一、前言最近在项目中遇到了页面加载速度优化的问题，为了提高秒开率等指标，我决定从eebi报表入手，分析一下当前项目的性能监控体系。通过查看报表中的cost_time、is_first等字段，我开始了解项目的性能数据采集情况。为了更好地理解这些数据的含义，我深入研究了相关SDK的源码实现。在分析过程中，我发现采集到的cost_time参数实际上就是FMP（First Meaningful Paint）指标。于是我对FMP的算法实现进行了梳理，了解了它的计算逻辑。本文将分享我在性能优化过程中的一些思考和发现，希望能对关注前端性能优化的同学有所帮助。二、什么是FMP FMP (First Meaningful Paint) 首次有意义绘制，是指页面首次绘制有意义内容的时间点。与 FCP (First Contentful Paint) 不同，FMP 更关注的是对用户有实际价值的内容，而不是任何内容的首次绘制。三、FMP 计算原理 3.1核心思想 FMP 的核心思想是：通过分析视口内重要 DOM 元素的渲染时间，找到对用户最有意义的内容完成渲染的时间点。 3.2FMP的三种计算...

2025-12-02

35

谷歌确认其移动端搜索的“AI模式”已完成全球范围部署，用户在使用AI概览（AI Overviews）时无需离开结果页，即可通过底部输入框与Gemini模型直接对话，实现即时追问与多轮交互 —— 传统搜索所需的多次跳转被缩减为“一次滚动、一键提问”。技术层面，AI模式采用“查询扇出”机制：系统先将用户问题拆解为多个子主题，并行抓取知识图谱、实时体育、财经及购物数据，再合成带引用来源的完整答案;若用户继续追问，模型将结合上下文与搜索历史给出个性化回复，对话长度可达传统搜索的三倍。目前该功能已在近120个国家和地区上线，iOS与Android端同步支持文字、语音及图片输入。谷歌搜索中心强调，AI模式沿用既有质量排名系统，网页如被模型引用仍会计入Search Console流量；早期数据显示，含AI概览的结果页点击率虽下降约36%，但停留时长与转化质量显著提升。对于内容创作者，谷歌建议继续遵循结构化数据、内部链接等基础SEO规范，无需额外优化即可被AI模式“选中”引用。业内人士分析，内置式AI对话让谷歌搜索从“信息检索”迈向“智能助手”，直接对标ChatGPT Search与Perpl...

2025-12-02

30

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。