腾讯开源宣布推出 finLLM-Eval，一套专为大模型金融场景设计的幻觉评测方案，在行业内首次提出无 GroundTruth 下金融数据准确性的评测方法，填补了大模型金融领域评测的空白，旨在推动AI技术在高风险、高要求的金融领域安全、可靠地落地。

本次开源版本包含以下核心能力：

• 逻辑一致性 & 事实准确性评测模块：完整工程代码，示例评测集，支持用户自定义评测集，自动化输出模型表现详情。提供完整评测报告，包括总分、错误点分布、千字幻觉率等指标。
• 端到端金融数据准确性对比模块：技术方案

核心功能亮点

面向大模型生成能力评测

• 事实准确性评测：检测模型输出是否与客观事实一致，避免无中生有、张冠李戴等问题。
• 逻辑一致性评测：评估模型分析过程中的前提、论证和结论是否符合金融市场规律与投资理论，杜绝逻辑谬误。

面向大模型端到端应用评测

• 无GroundTruth的金融数据准确性评测：基于真实用户问答，自动提取“标的×时间×指标”金融事实三要素，通过内部金融数据库进行自动化验证，无需人工标注标准答案。

AgentAsJudger自动化评测

• 全程无需人工干预，通过AI Agent自动提取事实点与逻辑链，并与RAG内容或金融数据库进行比对，准确率高达96%以上。

接下来，项目团队计划将持续迭代 finLLM-Eval，未来将支持非金融指标数据核验、结果归因等能力。