昇思人工智能框架峰会 基于MindSpore NLP玩转DeepSeek-OCR的开发实践
据悉，昇思MindSpore开源社区将于 2025 年 12 月 25 日在杭州举办昇思人工智能框架峰会。本次峰会在展区、CodeLabs、WorkShop等环节提供了丰富的案例，本篇文章以其中CodeLabs中的DeepSeek-OCR为例，深入介绍其技术实现，更多案例欢迎来到峰会现场进行体验和实操。
当文本遇见视觉，AI模型正重新定义信息压缩的边界
在人工智能快速发展的今天，DeepSeek团队于2025年10月推出的DeepSeek-OCR模型带来了一场文本处理范式的革命。这一创新模型不仅实现了10倍压缩率下97%的解码精度，更探索了通过视觉模态压缩长上下文的全新路径。而昇思MindSpore框架的day0支持能力，则为这一前沿技术的快速部署应用提供了坚实基础。
DeepSeek-OCR：重新定义文本压缩的边界
DeepSeek-OCR 是 DeepSeek AI 于 2025 年 10 月 发布的多模态模型，以探索视觉 - 文本压缩边界为核心目标，为文档识别、图像转文本提供创新方案。其采用 DeepEncoder 视觉编码器与 DeepSeek3B-MoE-A570M 混合专家解码器的双模块架构，从 LLM 视角重新定义视觉编码器功能，聚焦 “文档解码所需最少视觉 token” 这一核心问题，对研究 “一图胜千言” 原理具有重要意义。
模型的核心技术突破体现在三个方面：
高压缩比下的精度保持：实验表明，当文本令牌数量在视觉令牌数量的10倍以内（即压缩比<10倍）时，模型可以实现97%的解码精度，即使在20倍压缩率下仍保有约60%准确率。
分层视觉编码设计：DeepEncoder采用三阶段处理流程——首先使用SAM-base进行局部感知（窗口注意力看清细节），然后通过卷积层进行16倍下采样，最后使用CLIP-large进行全局语义理解。这种设计能够在高分辨率输入下保持低激活内存。
多分辨率支持：模型提供Tiny/Small/Base/Large/Gundam五种配置，支持从512×512到1280×1280的不同分辨率输入，其中Gundam版本专门针对大尺寸复杂文档优化。
在实际性能方面，DeepSeek-OCR在OmniDocBench测试中表现卓越，仅使用100个视觉token即超越GOT-OCR2.0模型，800个视觉token优于MinerU2.0模型。支持PDF转图像、批量处理及Markdown格式输出。
Day0支持：MindSpore NLP快速支持DeepSeek-OCR
MindSpore NLP作为基于昇思MindSpore的开源NLP库，其核心优势在于与Hugging Face生态的全面兼容。这种兼容性设计使得任何基于Transformers架构的模型都能在昇思MindSpore框架上无缝运行，为DeepSeek-OCR的快速部署提供了技术基础。
新增2行代码，即可实现基于昇思MindSpore的一键适配
具体而言，MindSpore NLP提供了与Hugging Face完全一致的API接口，开发者可以使用熟悉的AutoModel、AutoTokenizer等类直接加载和运行模型。这种设计极大降低了模型迁移的技术门槛，确保新发布的模型能够实现“day0”支持。
基于MindSpore NLP的兼容性特性，DeepSeek-OCR在昇思MindSpore上的部署变得异常简洁。整个过程主要包含三个关键步骤：
• 环境配置：安装MindSpore NLP及相关依赖库，确保昇思MindSpore版本兼容性
• 模型加载：使用MindSpore NLP+Transformers接口直接加载DeepSeek-OCR预训练权重
• 推理执行：调用统一的API进行文档理解和视觉-文本压缩任务
代码如下图所示：
这种标准化流程消除了复杂的模型转换环节，使研究者能够专注于应用开发而非环境适配。无论是处理扫描文档、PDF转换还是长文本压缩，开发者都可以利用熟悉的Hugging Face编程习惯在昇思MindSpore生态中高效运行DeepSeek-OCR，完整案例详见：
（https://github.com/mindspore-lab/mindnlp/tree/master/examples/transformers/inference/deepseek-ocr）。
如下图所示，运行脚本后，模型可识别扫描件中的文字，并转换为MarkDown文件。
基于Expert合并的小MoE模型加速：权重融合计算优化策略
DeepSeek-OCR的解码器采用混合专家（MoE）架构，激活参数约570M。针对MoE模型训练中的性能挑战，昇思MindSpore提供了基于Expert合并的优化方案，显著提升了小MoE模型的效率。
基于Expert合并的小MoE模型加速技术核心在于通过权重预融合策略，将传统动态路由计算转化为统一计算流，从根本上解决MoE架构中的Host端调度瓶颈问题。
1、传统MoE计算瓶颈分析
传统MoE模型采用“专家视角”的计算模式，其核心瓶颈体现在两个方面：
• 细碎算子调度开销：传统实现方式需要遍历每个专家，为每个专家独立执行前向计算。这种循环遍历模式导致大量小规模算子的频繁调度，特别是当专家数量增多时，Host端的算子下发和调度开销呈线性增长。
• 负载不均衡问题：由于不同专家处理的token数量差异显著，计算过程中容易出现负载不均衡。某些热门专家需要处理大量token，而其他专家可能处于空闲状态，这种不均衡进一步加剧了设备利用率的下降。
2、权重预融合技术原理
基于Expert合并的加速方案通过FFN权重预融合技术，将多个专家的计算任务合并为单一计算流：
• 权重合并机制：在模型初始化阶段，将所有专家的FFN层权重进行拼接融合，形成一个统一的超大型权重矩阵。以8专家MoE层为例，每个专家FFN层的输入维度为d_model，中间维度为d_ffn，合并后的权重矩阵形状从8个独立的[d_model, d_ffn]矩阵转变为统一的[8×d_model, d_ffn]矩阵。
• 统一计算流程：路由网络输出的选择权重不再用于动态激活不同专家，而是作为加权系数直接应用于融合后的计算结果。具体而言，模型首先通过融合权重矩阵执行一次统一的前向计算，然后根据路由权重对输出进行加权组合，避免了传统的专家遍历过程。
针对DeepSeekV2（DeepSeek-OCR LLM模块）的改进代码如下：
在昇思MindSpore+昇腾的软硬件协同环境中，这一技术大幅提升了DeepSeek-OCR的执行速度，相较于原版实现，推理token生成的性能提升3-4x，算力利用率由8%提升至30%+。这种基于Expert合并的加速思路，为小规模MoE模型的部署提供了一种新的优化范式，特别是在对推理延迟敏感的端侧和应用场景中具有重要价值。
总结
DeepSeek-OCR与昇思MindSpore在昇腾硬件上的深度结合，标志着文档智能处理进入了一个全新的发展阶段。这一技术组合不仅展现了前沿AI模型的创新潜力，更体现了从算法、框架到硬件的全栈优化价值。
展望未来，随着多模态大模型技术的持续演进和昇腾算力基础设施的不断完善，OCR模型与昇思MindSpore的深度结合将释放更大潜力。从简单的文档识别到复杂的知识抽取，从单页处理到跨文档分析，这一技术路径正在开启文档智能的新篇章，为企业数字化转型和AI普惠应用提供坚实的技术底座。
本次在杭州举办的昇思人工智能框架峰会，将会邀请思想领袖、专家学者、企业领军人物及明星开发者等产学研用代表，共探技术发展趋势、分享创新成果与实践经验。欢迎各界精英共赴前沿之约，携手打造开放、协同、可持续的人工智能框架新生态！
