Meta 超级智能实验室推出新技术，使大模型 RAG 推理速度提升 30 倍

Meta 的超级智能实验室（Meta Superintelligence Labs，MSL）发表了首篇重要论文，研究成果显著提升了大语言模型在检索增强生成(RAG)任务中的推理速度，提升幅度达到了30倍以上。

这篇论文名为《REFRAG:Rethinking RAG based Decoding》，主要探讨如何让大型语言模型在执行 RAG 任务时，快速提炼出重要信息，以减少计算量并缩短反应时间，而同时保持准确性不变。

Meta 超级智能实验室于今年6月正式成立，总部位于加利福尼亚州的门洛帕克，旨在研发超级智能技术。根据报道，扎克伯格在4月份对 Meta 最新发布的 Llama4模型表现不满，甚至要求员工加班加点来改进。这促使他成立了这个新实验室，并引入了大量顶尖人才，包括 Scale AI 的创始人 Alexandr Wang。

在实验室内部，团队被分为四个小组，分别负责大语言模型的研发、人工智能基础研究、产品技术落地以及基础设施的保障。REFRAG 框架的提出，正是实验室在优化大语言模型性能方面的第一步。

REFRAG 框架的核心理念是，通过一个轻量级模型将冗长的上下文内容压缩成摘要，减少解码器处理的输入信息。这种方法不仅加快了处理速度，还降低了计算量，提高了模型的效率。此外，研究团队还采用了 “持续预训练” 的方法，通过重建任务训练模型，以便在压缩信息的同时，尽量保留重要的细节。

经过全面测试，REFRAG 在多种任务中表现出色，尤其在时间延迟和吞吐量方面大幅提升。实验结果显示，REFRAG 在压缩比为16倍的情况下，能够在速度上超越之前的最先进模型 CEPE，并且在准确性上几乎没有损失。