Andrej Karpathy 评 DeepSeek-OCR 论文：图像输入可能成为大语言模型新方向

特斯拉前自动驾驶负责人、OpenAI联合创始人Andrej Karpathy近日在推特上评论了开源的DeepSeek-OCR论文，提出了一个颇具启发性的观点：相比传统文本输入，图像作为大语言模型（LLM）的输入形式可能更加高效。这一观点在AI研究社区引发了关于模型输入方式未来演进方向的讨论。

Karpathy认为，当前广泛使用的文本token输入方式可能既浪费又低效，未来研究或许应该转向图像输入。他从几个维度阐述了图像输入相比文本输入的潜在优势。

首先是信息压缩率的提升。将文本渲染成图像后，可以用更少的视觉token传递更多信息。这是因为一个图像patch可以包含多个字符的信息，而在传统文本tokenization中，每个字符或子词都需要单独的token。在处理大规模上下文时，这种压缩可能显著提升模型效率，降低计算成本。

其次是信息表达的丰富性。图像输入天然支持加粗、颜色、字体大小、布局等视觉元素，这些格式信息在传统纯文本输入中要么丢失，要么需要通过额外的标记语言（如Markdown）来表示，后者又会增加token消耗。直接使用图像可以让模型更自然地理解文档的视觉结构和强调重点。

第三是注意力机制的优化空间。图像输入可以使用双向注意力机制，而传统的文本生成任务通常采用自回归的因果注意力。双向注意力能够让模型同时关注上下文的所有位置，通常能提供更强的理解能力。这种处理方式避免了自回归文本处理的一些固有限制。

Karpathy特别批评了tokenizer（分词器）的复杂性。他认为tokenizer是一个非端到端的历史遗留模块，引入了许多不必要的复杂性。例如，视觉上相同的字符可能因为来自不同Unicode编码而被映射到不同的token，导致模型对看似相同的输入产生不同的理解。去掉tokenizer直接处理图像，将使整个系统更加简洁统一。

从技术实现角度看，Karpathy的观点建立在视觉编码器已经相当成熟的基础上。Vision Transformer等架构已经能够高效处理图像输入，而DeepSeek-OCR等模型证明了视觉到文本的转换可以达到很高的准确率。将这种能力推广到所有文本处理任务，在技术上具有可行性。

不过Karpathy也指出了一个不对称性：虽然用户输入可以是图像，但模型输出仍需要保持为文本形式，因为生成逼真的图像仍然是一个未完全解决的问题。这意味着即使采用图像输入，模型架构仍需要支持文本生成，不能完全摒弃文本处理能力。

这一观点引发的讨论涉及多个层面。从效率角度看，如果图像输入确实能提高信息密度，在处理长文档和大规模上下文时将有明显优势。从统一性角度看，图像输入可以将文档理解、OCR、多模态问答等任务统一到同一框架下，简化模型架构。

但图像输入也面临挑战。首先是计算成本，虽然信息密度更高，但图像编码本身的计算开销可能抵消部分收益。其次是可编辑性，纯文本易于编辑和操作，而图像形式的"文本"在后续处理中会失去这种灵活性。第三是生态兼容性，现有的大量文本数据和工具链都基于字符/token表示，完全转向图像输入需要重建整个生态系统。

从研究方向来看，Karpathy的观点提示了一个有趣的可能性:随着视觉模型能力的提升，传统的"语言模型"可能演变为更通用的"信息处理模型"，其中文本只是信息的一种呈现形式，而非唯一的输入表示。这种转变可能模糊语言模型和多模态模型之间的界限。

DeepSeek-OCR论文成为这一讨论的契机，说明OCR任务已经从单纯的字符识别演变为更深层的文档理解。如果OCR模型能够准确理解各种格式和布局的文本，那么将所有文本任务都视为"视觉理解"任务在概念上是合理的。

Karpathy的自嘲——"得控制住不要立刻去开发只支持图像输入的聊天机器人"——既表达了对这一想法的兴趣，也暗示了实际落地的复杂性。这种激进的架构转变需要大量实验验证，证明其在各种任务上的有效性，同时解决上述提到的各种实际挑战。

从产业应用角度看，即使图像输入最终被证明更优，过渡也会是渐进的。更可能的路径是混合模式:在需要保留视觉格式信息的场景使用图像输入，在需要灵活编辑和组合的场景使用文本输入。这种混合策略可以兼顾两种方式的优势。

总体而言，Karpathy的观点提出了一个值得深入探索的研究方向，挑战了文本token作为语言模型标准输入的固有假设。无论这一愿景是否完全实现，它都为思考模型输入表示的优化提供了新的视角，可能催生新一代更高效、更统一的AI架构。