AI 聊天越久越
微软和Salesforce联合研究发现,即使是最先进的AI语言模型在长时间对话中也会出现严重的可靠性问题。当用户逐步表达需求时,系统性能平均下降39%,这一发现对AI助手的实际应用提出了重要警示。 研究团队创建了名为"分片"的测试方法,模拟用户在实际对话中逐步明确需求的过程。与传统的一次性提供完整信息不同,这种方法将任务分解为多个步骤,更贴近真实使用场景。 测试结果表明,AI模型的准确率从约90%暴跌至仅51%。从小型开源模型Llama-3.1-8B到大型商业系统GPT-4o,所有15个受测模型均出现这种急剧下降。 每个实验涉及90到120条指令,这些指令被分解为来自高质量数据集的较小子任务。 即便是研究中的顶级模型——Claude3.7Sonnet、Gemini2.5Pro和GPT-4.1——在多轮对话中的表现也比单轮对话差30%至40%。更令人担忧的是,这些模型的一致性大幅降低,同一任务的最佳和最差表现差异可达50个百分点。 研究识别出AI模型在多轮对话中的四个核心问题: 过早结论:在掌握全部必要信息前匆忙做出判断 过度依赖历史:过分相信自己此前的回答,即使其中存在错误 信息忽略:...
