长上下文大模型进展I
摘要:长上下文大模型(LLMs)被部署在许多实际应用中,如RAG、代理和广泛的集成应用程序。给定一个指令和一个长上下文(例如文档、PDF文件、网页),长上下文LLM可以生成基于所提供上下文的输出,旨在提供更准确、更新且可验证的输出的同时减少幻觉和不支持的主张。这提出了一个研究问题:如何确定哪些文本(如句子、段落或章节)对LLM生成的输出贡献最大或负责?这个过程称为上下文回溯,具有各种实际应用,例如调试基于LLM的系统;对LLM进行攻击后的分析(如提示注入攻击、知识篡改攻击);突出知识来源以增强用户对LLM生成的输出的信任度。当应用到长上下文LLM的上下文回溯时,现有的特征归因方法(如Shapl...