华为计算宣布昇腾多模态推理加速套件 MindIE SD 项目现已开源。MindIE SD 包含以下关键特性：

• 加速插件 多模态亲和加速插件能力，包括：稀疏 Attn 插件（如：block-wise 稀疏 Attention），融合插件（如：RoPE 等）。
• 以存代算 提供 DiT module, DiT block, attn 等多种粒度的 cache 算法，以支持不同的视图场景加速，提升模型运行时性能，支持自定义加速比，支持cache算法快速寻优。
• 多卡并行 提供 CFG, USP 等并行能力，融入加速算子的 API 中，实现接口替换后的自动使能，支持用户快速适配生成类模型的通用并行算法优化框架。
• 量化 针对昇腾的数据类型和算力分布，提供亲和的量化算法，并通过 quantization 模块导入使用，进行量化加速，在保证模型效果的前提下，提升模型推理效率并降低资源消耗。
• 稀疏Attention 提供亲和的稀疏 Attn 算子，降低 Attention 计算的复杂度，支持多模态FA算子快速寻优。

目前，其已实现了对多模态生成模型（Stable Diffusion 系列、OpenSora、Hunyuan、Wan 等）的快速适配和昇腾加速，模型在 Modelers / ModelZoo 仓库中发布，对接开源组件 vllm-omni，未来会进一步扩展到多模态理解、全模态等场景的加速。