上海人工智能实验室 OpenDataLab 团队发布 ScienceMetaBench 科学文献元数据提取评测集，该基准旨在建立客观、统一的评估标准，助力社区衡量与比较各类前沿方法的实际性能。

数据集地址：https://huggingface.co/datasets/opendatalab/ScienceMetaBench
评测工具代码 (Dingo)：https://github.com/MigoXLab/dingo

据介绍，ScienceMetaBench 是一个专注于评估科学文献 PDF 元数据提取能力的评测集，涵盖了学术论文 (Paper)、教科书 (Textbook) 与 电子书 (Ebook) 三类典型语料 。在构建过程中，研究团队针对中英文双语环境进行了深度适配，确保元信息的提取逻辑与正文语种保持一致。

下图展示了从学术论文 PDF 文件中提取的元数据字段示例：

需要从论文首页提取以下关键信息：{

  "sha256": "8d3e...f3a", // 文件唯一哈希，确保数据可追溯  "doi": "10.1186/s41038-017-0090-z", // 唯一标识符  "title": "Children are not little adults...", // 文献标题  "author": "Tina L. Palmieri, ...", // 作者姓名，统一用英文逗号分隔  "keyword": "Blood transfusion, Pediatric", // 关键词，统一用英文逗号分隔  "abstract": "Blood transfusion in burns larger than...", // 摘要正文  "pub_time": "2017" // 标准化后的出版年份}

为了提升样本的代表性，团队结合了多数据源采样与 K-Means 图像聚类技术，力求覆盖更多元、复杂的排版样式。在标注环节，团队采用了“AI 预标注 + 人工修正”的高效模式，并参考了用于MinerU评测的OmniDocBench 权威评测基准，以确保数据质量与评测维度的专业性。