阅读笔记:ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction
> **资源** > - 论文:https://arxiv.org/abs/2607.29677 > - 代码:https://github.com/run-llama/ExtractBench > - 数据集:https://huggingface.co/datasets/llamaindex/ExtractBench > - 项目主页:n/a ## TL;DR 这篇论文用 **一个五轴挑战标注的 benchmark(370 篇真实/合成企业文档、4869 页、8 领域 67 文档类型)+ value F1 与 word/page-level grounding + 成本的联合评估** 解决了 **schema-guided 企业文档抽取缺乏"广覆盖 + 可溯源 + 可比成本"统一评测** 的问题。核心结论是 **不同系统族在质量-成本前沿上占据截然不同的位置:裸 VLM 便宜(≤1.0¢/page)但 F1 不超 80% 且长文档/巨型表崩塌,coding agent 健壮但 >15¢/page,specialized API(尤其 LlamaExtract Agentic Plus)在最前方(95.6% F1 @ 8.1¢/page)**,且即便最强的 word-level grounding F1 也不到 50%。主要 caveat:**benchmark 由 LlamaIndex 团队构建,而全面领先的 LlamaExtract 正是其自家产品**,利益冲突需打折看。 ## 1. 研究内容 ### 1.1 研究问题、痛点与动机 - **研究问题**:给定一篇文档和一个用户自定义 JSON Schema,抽取系统能否在"值正确且完备 + 每个值能溯源到原文位置 + 单页成本可控"三方面同时达标?形式化即 $f:(\text{document},\ \text{schema}) \longmapsto (\text{structured data},\ \text{evidence})$。 - **痛点**:企业要把金融报表、保险理赔、采购单、政府表单里的结构化数据从文档里抽出来进系统,历史上靠人工录;现有 benchmark 各覆盖一窄条——固定模板的 KIE(SROIE/DocILE/RealKIE)不接受用户自定义 schema,schema-guided 的新基准(ContextualAI ExtractBench / LongArray-Extract / LongExtractBench-50 / VAREX)要么只几十篇、要么只合成单页、要么不评 grounding 也不量成本;于是无法横向比较不同系统族、也无法定位失败到底来自"长列表截断 / 扫描噪声 / 表格错拼 / schema 太大"中的哪一个。 - **动机 / 为什么重要**:企业部署是百万页量级,"每页差一分钱就决定 AI 项目是否划算"(100 万页 × 1¢ = $10,000),且出错代价高、必须有 grounding 让人在环审计;一个能同时量准确率、溯源、成本并按挑战维度切片的 benchmark,直接决定系统能不能上生产。 - **领域定位**:文档智能 / 信息抽取(document IE)的评测方向;上接 OCR 与版面分析,下接 RAG 与企业工作流自动化。 ### 1.2 核心贡献 - **一个挑战标注、广覆盖的 benchmark**:370 篇文档 / 4869 页 / 8 业务领域 / 67 文档类型,每篇沿五个**独立**轴(任务挑战、感知挑战、表格结构、长度、领域)打标签,支持按挑战切片归因失败。 - **一套可扩展的 schema 与 ground truth 构建流水线**:真实文档用前沿模型 ensemble 共识 + 分歧裁决;合成长列表用"数据先于文档"的程序化生成保证 ground truth 精确;扫描表单用人工逐字段核验。不靠纯人工逐字段标注。 - **一次覆盖 14 个前沿系统的广谱评测**:横跨商用 VLM、开源抽取模型、coding agent、specialized API,同时报准确率、grounding、成本与质量-成本权衡。 ### 1.3 相关工作脉络 ```mermaid flowchart LR sroie["SROIEHuang et al., 2019"] --> docile["DocILEŠimsa et al., 2023"] docile --> realkie["RealKIETownsend et al., 2024"] realkie --> extractbench["ExtractBench(本文)LlamaIndex, 2026"] contextual_eb["ContextualAI ExtractBenchFerguson et al., 2026"] --> extractbench longarray["LongArray-ExtractExtend AI, 2026"] --> extractbench longextract50["LongExtractBench-50micro1, 2026"] --> extractbench varex["VAREXBarzelay et al., 2026"] --> extractbench ``` - **关键传承**:固定本体 KIE 线(SROIE → DocILE → RealKIE)逐步从收据/表单扩到多语言、企业域、行项目与长文档,但目标字段始终预设固定,不测"跟随用户新 schema"的能力;schema-guided 线的四 个新基准各压一个维度——ContextualAI ExtractBench 压 schema 复杂度(最多 369 字段但仅 5 个共享 schema)、LongArray-Extract 与 LongExtractBench-50 压长文档行完整性、VAREX 用每文档一 schema 的合成单页表单。本文把这四条线的覆盖面合并到一份 benchmark 里。 - **分歧**:本文是唯一**同时**评长列表完整性、真实扫描与手写、word/page-level grounding、实测成本的基准(Table 1/7);且强调五个独立轴而非单一聚合分,使"低分能追溯到真实成因"。注意:与 Contextual AI 那篇同名 ExtractBench [12] 是不同工作,作者专门加了 footnote 区分。 ## 2. 方法概要 - **方法路线**:系统构建 / 基准评测(benchmark + 评测协议 + 14 系统横评),非理论证明也非单一新模型。 - **关键假设**: - 显式:同一文档类型共享一个 schema;schema 写得足够明确时每个字段有确定性期望值;五个挑战轴互相独立、可正交归因。 - 隐式(读者识别):合成文档虽程序化生成、ground truth 精确,但能代表真实企业文档的视觉变异性;ensemble 共识的 ground truth 接近"真值";用公开牌价重构的成本能反映真实部署开销。 - **数据 / 实验设置**:370 篇文档来自三种来源(真实 born-digital、基于真实版面的合成长列表、真实监管/税表扫描件),其中 38 篇为"扫描退化重捕"(clean 原件的旋转+透视+噪点版本,值不变);14 个系统在相同 document-schema 对上跑、无 benchmark 专属调参,运行于 2026 年 6–7 月;指标为 value F1、word/page-level grounding F1、¢/page 成本(附录 C.2 用 2026-07-01 公开牌价按实测 token/credit 消耗重构)。 - **训练目标**:n/a(benchmark 论文,无训练)。 **整体处理流程**(鸟瞰):评测一篇文档时,系统拿到完整文档 + 用户写的 JSON Schema 作为输入,产出一个 schema-valid 的 JSON 对象,其中每个标量值和每条对齐后的记录子字段都要带上 source page 与 bounding box 作为 evidence。评分端把预测输出与 ground truth 都展平成 cells(一个标量字段、一个对齐后的记录子字段各一个 cell),先做归一化(日期转 ISO、空白压缩、其余精确相等、无数值容差无 LLM judge),再用 Hungarian 算法对数组记录做全局最优一对一配对,逐 cell 按"期望-预测"状态表(Table 9)判 correct/miss,算出 per-document 的 micro precision/recall/F1,slice 与 overall 取 per-document F1 的无权重均值。对带人工核验 box 的字段额外评 grounding:word-level 要求值正确且预测 box 与真值 box 在正确页上 IoU≥0.5,page-level 只要求值正确且给对源页。最后把 F1 与实测 ¢/page 摆到质量-成本前沿图上横评。 ### 2.1 架构图 上图(原文 Figure 2)展示 ground truth 如何由三种来源各自构建:卡片边框颜色标执行者(蓝=抽取模型池、紫=coding-agent 流水线代码、琥珀=人工),绿色填充卡是产出的 ground truth,橙色虚线标修复与分歧裁决回路。三条流水线分别是:真实文档(上条,多系统 ensemble 提议 + 分歧裁决)、合成长列表(中条,数据先于文档的程序化渲染 + ground truth 精确回读)、扫描表单(下条,schema 冻结后 ensemble 投票 + 人工逐字段核验 box)。 ### 2.2 模块详解 - **任务定义模块(输入→输出)**: - 处理流程:1. 输入一篇完整文档(born-digital 或扫描)+ 用户写的 JSON Schema(列字段名、类型、自然语言描述,可含标量、嵌套对象、记录数组、可空字段、值约束);2. 系统按 schema 抽取;3. 输出 schema-valid JSON,每个值带 source page 与 bounding box;4. 文档里没有的字段必须显式返回 null(不能省略键)。 - 设计理由:JSON Schema 是工业界结构化输出的事实标准,"一 schema 覆盖同类型所有文档"贴近企业"为每个新工作流写一个 schema"的真实用法;强制 null 而非省略键,让空字段也被正确计入评分(见 Metrics 模块)。 - 关键参数:schema 由用户而非 benchmark 预设——这正是 schema-guided 与固定本体 KIE 的本质区别。 - **Taxonomy 五轴标注模块(挑战归因)**: - 处理流程:每篇文档被沿五个**独立**轴打标签——任务挑战(T1 长列表完整性 / T2 大海捞针 / T3 密集文档)、感知挑战(P1 旋转或纯图 / P2 扫描 / P3 手写)、表格结构(S1 合并表头 / S2 透视或表头不在顶部 / S3 跨页 / S4 千行以上巨型表 / S5 单元格内嵌套表)、长度(L1 ≤10 页 / L2 11–50 / L3 >50)、业务领域(D1–D8)。 - 设计理由:单一聚合分无法区分"漏了三分之一的行"与"读错一个标签",也无法区分"任务难"与"扫描差";独立轴让低分能追溯到真实成因。表格单列一轴是因为表格会"逐值读对却拼成错误结构",这种失败任务轴和感知轴都隔离不了。 - 关键参数:标签可跨轴重叠(同一文档可同时是 T1 + P2 + S3 + L3 + D1);Figure 1 给出各标签在 370 篇中的占比。 - **Ground truth 三流水线模块(按来源分工)**: - 真实文档(ensemble 共识):1. 从样本文档起草 schema(字段描述带别名、格式要求、位置提示、勿混指引);2. 跑多个**不同模型/流水线家族**的抽取系统(同家族共享错误,故刻意跨家族);3. 所有系统一致同意的值(含空字段的 null)成为候选 ground truth;4. 分歧按成因分类——若多种读法都站得住脚说明 schema 有歧义,就收紧描述直到重跑收敛,若只有一种读法站得住脚就是模型失败,由审查者对照页面裁定。设计理由:单系统输出做 ground truth 会重复其错误并偏向该系统。 - 合成长列表(精确构造):1. 选一个真实长列表版面(基金附表、持仓登记、债权人矩阵);2. **数据先于文档**——先产出记录(逐字解析或按真实风格生成),再让 coding agent 研究版面字体/列宽/页眉写出渲染代码;3. 渲染成贴近真实的 PDF,按实测尺寸分页(而非固定行数/页,否则产生假分页与错误源页标签);4. 因为值在 PDF 存在前就已知,页码与 word-level box 从渲染结果回读,ground truth 无论列表多长都精确;5. 机械检查捕风格不匹配与裁剪,再由抽取系统池审计完工文档暴露渲染 bug。设计理由:数千条相似记录人工标太慢太易错,"先造数据再造文档"让 ground truth 生而可信、无需人工标值。 - 扫描表单(人工核验):1. schema 对照空白模板起草并在标注前冻结(之后改动需版本号 + 定向复审);2. 最多五个系统 ensemble 对每个 schema 叶节点投票,争议叶节点交给必须先看页面才裁决的 adjudication agent;3. 由单一 citation 管线提议每字段 box(box 永不跨系统合并);4. 人工标注者对每字段 accept/edit/null/redraw。产出 169 篇人工核验文档,84% 核验字段带人工放置的 box(其余多为空字段,页面无物可框)。 - 设计理由:三种来源各有短板,按各自最合适的方法标注——真实文档给版面/扫描噪声/领域跨度但逐字段画框太慢,合成覆盖太大无法手标,扫描件必须由人判断手写与介于两字段间的标记。退化扫描重捕不需新标注(值不变,clean 的 ground truth 直接沿用)。 - **Metrics 模块(value F1 + grounding)**: - value F1 评分流程:1. 预测与 ground truth 各展平成 cells;2. 归一化(8 种日期格式转 ISO、空白折叠、其余精确相等、无数值容差无 LLM judge);3. 数组用 Hungarian 算法做全局最优一对一配对(代价=不匹配子字段数,最小化总代价等价于最大化字段一致;完全匹配的行用 hash join 预配对作加速快路径);4. 按 Table 9 状态表逐 cell 判定——值匹配值=correct(计入 P 和 R)、值→null=两边 miss、null→null=correct、null→值=两边 miss(hallucination)、记录少了=缺记录 cell 仅计 R miss、记录多了=多余记录 cell 仅计 P miss;5. per-document 算 micro P/R/F1,slice 与 overall 取 per-document F1 无权重均值(文档字段多不加大权重)。 - 设计理由:数组用 Hungarian 对齐而非按位置,是因为记录顺序不应影响值分;显式 null 计入两侧分母,让"诚实返回 null"不被惩罚、让"空字段上幻觉"同时扣 P 和 R;只有重复记录会把 P 和 R 拆开,所以 P-R 差直接诊断"截断 vs 多余记录"。 - grounding:仅对带人工核验 box 的字段评;word-level 要求值正确且预测 box 与真值 box 在正确页 IoU≥0.5,page-level 只要求值正确且给对源页;grounding 的 P 分母只计可评分 claim、R 分母只计带核验 box 的 ground truth cell、无核验 box 的文档不产生 grounding 分(而非记零)。 - 关键约束:每篇文档上恒有 value F1 ≥ page F1 ≥ word-level grounding F1(前者是后者的门控)。 ### 2.3 算法 / 伪代码 原文无 Algorithm 伪代码框;评分是**完全确定性**的("the same predictions and ground truth always produce the same same score, with no model in the loop"),核心规则在 §2.4 与附录 B。其算法性流程已在 2.2 Metrics 模块中逐步说明(cell 展平 → 归一化 → Hungarian 对齐 → 状态表判定 → micro P/R/F1 → 无权重均值),附录 B.1–B.4 给出精确匹配规则、缺失值语义(Table 9)、数组对齐细节与聚合/grounding 门控定义,可直接复现,无需伪代码框。 ## 3. 关键结果 - **主要发现**: - 系统 族在质量-成本前沿上占据截然不同的区域——裸 VLM(GPT-5.4 Nano、Gemini 3.5 Flash 及四个自托管 OSS)占低成本端(≤1.0¢/page)但 F1 都不超 80%;coding agent(Claude Code Opus 4.8、Codex GPT-5.5)达 87–94% F1 但 >15¢/page;specialized API 跨度最大,LlamaExtract 三档描绘前沿。 - 长文档是裸 VLM 的死穴:Gemini 3.5 Flash 从短文档 87.9% 暴跌到长文档 27.9%,多数 VLM 长文档 15¢/page);LlamaExtract 三档沿前沿排列,Agentic Plus(95.6% @ 8.1¢/page)在最右上方、质价比同时压住两个 coding agent。 上图(原文 Figure 7)把 GPT/Gemini/Claude 三家族的 basic/medium/flagship 三档连成线:只有 GPT 质量随成本单调上升,Gemini 与 Claude 都非单调——说明"换更大的模型"不必然换来更好的文档抽取,最佳工作点取决于成本-质量权衡而非模型层级。 下表重现 Table 2 的关键切片(Overall + 长度 + 任务挑战 + 巨型表 S4),系统列选 8 个代表(完整 14 系统见原文 Table 2): | 系统(族) | Overall | L1 短 | L2 中 | L3 长 | T1 长列表 | T2 大海捞针 | T3 密集 | S4 巨型表 | |------|------|------|------|------|------|------|------|------| | LE Agentic Plus(specialized) | **95.6** | **96.6** | **93.3** | **94.4** | **96.1** | 93.6 | **95.5** | **95.9** | | LE Cost-Effective(specialized) | 86.8 | 90.8 | 80.1 | 69.2 | 81.8 | 82.3 | 90.5 | 67.8 | | Reducto Deep Extract(specialized) | 90.4 | 94.2 | 80.5 | 92.0 | 94.8 | 92.5 | 87.5 | 95.3 | | Codex GPT-5.5(coding agent) | 93.6 | 95.7 | 91.2 | 78.9 | 91.7 | 91.7 | 95.4 | 78.9 | | CC Opus 4.8(coding agent) | 87.1 | 90.1 | 79.2 | 88.1 | 93.6 | 89.1 | 82.4 | 87.8 | | GPT-5.4 Nano(VLM) | 74.9 | 77.4 | 76.4 | 35.8 | 72.2 | 74.0 | 76.4 | 7.2 | | Gemini 3.5 Flash(VLM) | 79.8 | 87.9 | 69.8 | 27.9 | 78.8 | **87.9** | 80.5 | 1.5 | | Qwen3.6 35B-A3B(OSS VLM) | 87.3 | 93.1 | 84.8 | 26.8 | 79.0 | 85.3 | 93.1 | 1.3 | (数值为 unified value F1 %,取自原文 Table 2;加粗为该行最高。完整 14 系统 × 全维度见原文 Table 2,子标签细拆见 Table 14。) 下表重现 Table 3 的 grounding 结果(完整): | 系统 | word-level F1(Overall) | word-level F1(长文档) | page-level F1(Overall) | page-level F1(长文档) | |------|------|------|------|------| | LE Agentic Plus | **46.4** | 54.7 | **84.9** | **87.1** | | LE Agentic | 44.1 | 45.7 | 66.1 | 67.6 | | LE Cost-Effective | 40.4 | 36.7 | 64.2 | 56.5 | | Datalab A+B | 2.0 | 0.0 | 48.5 | 0.0 | | Extend Max Context | 25.1 | 0.0 | 48.9 | 0.0 | | Reducto Deep Extract | 43.3 | 41.1 | 71.7 | 67.3 | | 所有其余系统 | 0.0 | 0.0 | 0.0 | 0.0 | (% ,取自原文 Table 3;VLM 与 coding agent 默认不返回 evidence 故全零。) - **重点解读**: - 质量-成本前沿图:LlamaExtract Agentic Plus 在右上角"同时"比两个 coding agent 质量更高(95.6 vs 93.6/87.1)、成本更低(8.1 vs 27.8/16.2 ¢/page),是全文最核心的单点结论;但这也是利益冲突最刺眼之处(见 §4.1)。 - Table 2 长度切片:裸 VLM 在 L3 长文档上的崩塌(Gemini 27.9、GPT-5.4 Nano 35.8、Qwen3.6 26.8、Gemma4 12.2、NuExtract3 8.9)是系统性而非个例;Reducto(92.0)与 Claude Code Opus 4.8(88.1)在长文档上反常地稳——前者是 specialized API 的长文档策略,后者是 coding agent 的迭代工具循环。 - Table 2 的 S4 巨型表:所有 VLM 作者:lusca > 版本:lusca-paper-read v1.10.3 > 出处:https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-read