英伟达发布包含 300 万条高质量样本的视觉语言模型训练数据集

英伟达发布了一个包含300万高质量样本的视觉语言模型训练数据集，以支持OCR、VQA和图像字幕生成等多种应用。

数据集构成

• 67.0% 视觉问答（VQA）样本
• 28.4% OCR 样本
• 4.6% 图像描述（Captioning）样本

主要用途

• 文档理解：支持复杂版面、表格、图文混排的 OCR 与内容提取。
• 企业级 AI 开发：数据已清除版权限制，可直接商用。
• 模型训练支持：配套 NVIDIA NeMo Curator 工具，便于进一步清洗和定制。

数据来源与构建方式

• 基于开源数据集重新标注，确保可商用；
• 使用 NVIDIA 自研模型进行增强，如加入链式思考（Chain-of-Thought）解释、模板化问答生成、答案扩展等；
• 提供中英双语的 OCR 数据，涵盖字符级、词级、页面级标注。

模型配套

该数据集是 Llama 3.1 Nemotron Nano VL 8B 模型的训练基础，该模型在 OCRBench V2、DocVQA、ChartQA 等基准测试中表现领先，已作为 NVIDIA NIM API 和 Hugging Face 模型库的一部分开放使用。

如需获取数据集，可直接访问 Hugging Face 页面：https://huggingface.co/datasets/nvidia/Llama-Nemotron-VLM-Dataset-v1