Meta 超级智能实验室推出新技术,使大模型 RAG 推理速度提升 30 倍
Meta 的超级智能实验室(Meta Superintelligence Labs,MSL)发表了首篇重要论文,研究成果显著提升了大语言模型在检索增强生成(RAG)任务中的推理速度,提升幅度达到了30倍以上。 这篇论文名为《REFRAG:Rethinking RAG based Decoding》,主要探讨如何让大型语言模型在执行 RAG 任务时,快速提炼出重要信息,以减少计算量并缩短反应时间,而同时保持准确性不变。 Meta超级智能实验室于今年6月正式成立,总部位于加利福尼亚州的门洛帕克,旨在研发超级智能技术。根据报道,扎克伯格在4月份对 Meta最新发布的 Llama4模型表现不满,甚至要求员工加班加点来改进。这促使他成立了这个新实验室,并引入了大量顶尖人才,包括 Scale AI 的创始人 Alexandr Wang。 在实验室内部,团队被分为四个小组,分别负责大语言模型的研发、人工智能基础研究、产品技术落地以及基础设施的保障。REFRAG 框架的提出,正是实验室在优化大语言模型性能方面的第一步。 REFRAG 框架的核心理念是,通过一个轻量级模型将冗长的上下文内容压缩成摘要,减...
