在AI推理芯片市场上，NVIDIA H100几乎成了默认选项，但AMD的Instinct MI300X一直是一个被低估的替代方案。近日，技术博客Doubleword的作者记录了一次将DeepSeek-V4-Flash模型部署到AMD MI300X加速器上的完整过程，展示了在非主流硬件上运行大模型的真实挑战与收获。

这场部署的背景，是DeepSeek模型系列在开源社区持续升温。DeepSeek-V4-Flash以其优异的推理效率受到关注，而AMD MI300X则是AMD面向数据中心推出的旗舰加速器，采用CDNA 3架构、192GB HBM3内存理论上能够支撑大模型的本地部署。然而，软件生态的差距让这条路注定不平坦。

FP8精度：一场"方言"不通的麻烦

部署过程中的第一个拦路虎是FP8量化精度问题。FP8作为近年兴起的低精度格式，能够显著降低显存占用和提升推理速度，但不同硬件厂商对FP8的具体实现存在分歧。NVIDIA和AMD采用了不同的FP8子标准——NVIDIA使用OCP（Open Compute Project）定义的FP8格式，而AMD MI300X则使用fnuz格式。这两种格式在数值表示范围和精度上存在差异，直接导致模型权重解读出现系统性偏差。作者花了大量时间在精度校准上，最终才让数值误差降到可接受范围内。

内核库缺失：CDNA 3架构的"注意"困境

第二个挑战来自AITER内核库在AMD CDNA 3架构上的适配问题。AITER是一个为Transformer模型优化的计算库，包含了高效的注意力机制快速路径实现。然而在MI300X上，由于底层架构实现的细节差异，快速路径的触发条件未能被正确满足，导致注意力计算回退到了更慢的通用实现。这一问题直接影响了大模型推理的吞吐能力，是整篇文章中最具技术深度的发现。

Triton并发：被忽视的边界条件

此外，HIP图优化中的张量形状问题、MoE（Mixture of Experts）路由层的bug以及Triton内核在并发场景下的边界条件处理，都成为部署过程中需要逐个攻克的难题。Triton是AMD为GPU计算设计的编程语言，与NVIDIA的CUDA生态类似，但在工具链成熟度上仍有差距。

最终成绩：约8.6%的性能提升

经过针对性的修复和基础优化后，DeepSeek-V4-Flash在单块MI300X上的推理速度从2485 tok/s提升至2699 tok/s，提升幅度约8.6%。考虑到所有软件层面的障碍，这个数字并不算惊艳，但作者认为，考虑到AMD MI300X在采购成本和TCO（总拥有成本）上相对NVIDIA H100的优势，8.6%的性能差距完全在可接受范围内。

软件生态的差距正在缩小

这篇部署日志的核心价值，不在于最终的性能数字，而在于它如实记录了AMD ROCm软件栈在实际生产场景中的短板。FP8标准不统一、内核库适配不完整、Triton工具链不够成熟等问题，构成了AMD在AI软件生态方面与NVIDIA的主要差距。然而，作者也指出，这些问题正在被快速修复——AMD在过去两年中对ROCm的投入力度明显加大，开源社区对AMD硬件的支持也在增长。

从更大的视角看，这篇部署记录反映了一个正在发生的变化：AI硬件的格局正在从NVIDIA一家独大向多元化演进。Google TPU、AMD MI300X、甚至国产的昇腾等芯片，都在各自的场景中找到了位置。软件生态的差距会随着时间推移逐渐收窄，而硬件层面的性价比竞争，将成为推动这一进程的持续动力。

参考来源：https://fergusfinn.com/blog/deepseek-v4-flash-mi300x/