DeepSeek 创始人梁文锋等人近日发表了一篇名为《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for Al Architectures（深入了解DeepSeek-V3：人工智能架构硬件的扩展挑战与思考）》的回顾性论文。

深入分析了DeepSeek-V3/R1模型架构及其人工智能基础架构，重点介绍了一些关键创新，如提高内存效率的多头潜意识（MLA）、优化计算与通信权衡的混合专家（MoE）架构、释放硬件能力全部潜力的FP8混合精度训练，以及最大限度降低集群级网络开销的多平面网络拓扑结构。

该研究表明，当前大语言模型（LLM）的迅速扩展暴露了现有硬件架构的许多局限性，比如内存容量、计算效率和互连带宽。DeepSeek-V3在2048块 NVIDIA H800GPU 集群上训练，通过有效的硬件感知模型设计，克服了这些限制，实现了经济高效的大规模训练和推理。

具体来说，论文中提出了几个关键点。首先，DeepSeek-V3采用了先进的 DeepSeekMoE 架构和多头潜在注意力（MLA）架构，极大地提高了内存效率。MLA 技术通过压缩键值缓存，显著降低了内存使用，使得每个 token 只需70KB 的内存，相比其他模型大幅减少。

其次，DeepSeek 还实现了成本效益的优化。通过其混合专家（MoE）架构，DeepSeek-V3在激活参数的数量上实现了显著的降低，训练成本相比于传统密集模型降低了一个数量级。此外，该模型在推理速度上也进行了优化，采用双微批次重叠架构来最大化吞吐量，确保 GPU 资源得到充分利用。

DeepSeek 在未来硬件设计方面提出了创新的思考。他们建议通过联合优化硬件和模型架构，来应对 LLM 的内存效率、成本效益和推理速度三大挑战。这为日后的 AI 系统开发提供了宝贵的参考。

更多详情可查看具体论文：https://arxiv.org/pdf/2505.09343