昇腾多模态生成套件 MindIE SD 开源
华为计算宣布昇腾多模态推理加速套件 MindIE SD 项目现已开源。MindIE SD 包含以下关键特性: 加速插件多模态亲和加速插件能力,包括:稀疏 Attn 插件(如:block-wise 稀疏 Attention),融合插件(如:RoPE 等)。 以存代算提供 DiT module, DiT block, attn 等多种粒度的 cache 算法,以支持不同的视图场景加速,提升模型运行时性能,支持自定义加速比,支持cache算法快速寻优。 多卡并行提供 CFG, USP 等并行能力,融入加速算子的 API 中,实现接口替换后的自动使能,支持用户快速适配生成类模型的通用并行算法优化框架。 量化针对昇腾的数据类型和算力分布,提供亲和的量化算法,并通过 quantization 模块导入使用,进行量化加速,在保证模型效果的前提下,提升模型推理效率并降低资源消耗。 稀疏Attention提供亲和的稀疏 Attn 算子,降低 Attention 计算的复杂度,支持多模态FA算子快速寻优。 目前,其已实现了对多模态生成模型(Stable Diffusion 系列、OpenSora、Huny...