扩散模型加速采样算法 OLSS，大幅提升模型推理速度

论文：
Zhongjie Duan, Chengyu Wang, Cen Chen, Jun Huang, Weining Qian. Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models. CIKM 2023

背景

近年来，在图像生成领域，对于扩散模型的成功我们有目共睹。与基于 GAN 的生成模型不同，扩散模型需要多次调用模型进行前向推理，经过多次迭代，才能得到清晰完整的图像。扩散模型在大幅度提升生成效果的同时，也因其迭代式的生成过程面临严重的计算效率问题。我们希望改进扩散模型的生成过程，减少迭代步数，提升生成速度。

加速算法的统一分析

 

这其实揭示了调度机设计的本质——在由模型输出值和初始高斯噪声张成的向量空间中求解下一步的。不同的调度机仅在迭代公式的系数上存在不同，我们决定设计一个新的调度机，将迭代公式中的系数设计成可训练的，使其对应的近似计算过程更加精确。

算法架构

此外，为了进一步降低这个算法的误差，我们还对 {t（1）,...,t（n）} 进行了调整。具体地，设计了一个启发式的路径规划算法，分为以下三部分:

其中算法 1 利用贪心策略搜索下一步的 ，算法 2 调用算法 1 搜索在误差上届 D下是否存在这样的路径，算法 3 调用算法 2 搜索最低的误差上界。整个路径规划算法可以使 n 步中的最大误差最小。

实验结果

我们在主流的 Stable Diffusion 1.4 和 Stable Diffusion 2.1 上进行了实验，测试了包括 OLSS 和 OLSS-P（无路径规划版本）在内的 8 个调度机算法，使用 5 步、10 步、20 步的算法与 100 步、1000 步的算法比较，FID 结果（越小越好）如下表所示：

我们可以明显看出，在同等步数下，OLSS 比其他调度机算法能够实现更高的图像质量，这证明了 OLSS 方法的巨大优越性。此外，从以下例子中我们也可以明显看出 OLSS 在极少步数下的效果：

目前 OLSS 已经在 EasyNLP（https://github.com/alibaba/EasyNLP/tree/master/diffusion/olss_scheduler）开源。欢迎广大用户试用！

参考文献

● Bingyan Liu, Weifeng Lin, Zhongjie Duan, Chengyu Wang, Ziheng Wu, Zipeng Zhang, Kui Jia, Lianwen Jin, Cen Chen, Jun Huang. Rapid Diffusion: Building Domain-Specific Text-to-Image Synthesizers with Fast Inference Speed. In the 61st Annual Meeting of the Association for Computational Linguistics (Industry Track).
● Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. In the 2022 Conference on Empirical Methods in Natural Language Processing (Demo Track).
● Jiaming Song, Chenlin Meng, and Stefano Ermon. 2020. Denoising Diffusion Implicit Models. In International Conference on Learning Representations.
● Tero Karras, Miika Aittala, Timo Aila, and Samuli Laine. 2022. Elucidating the design space of diffusion-based generative models. Advances in Neural Information Processing Systems 35 (2022), 26565–26577.
● Luping Liu, Yi Ren, Zhijie Lin, and Zhou Zhao. 2021. Pseudo Numerical Methods for Diffusion Models on Manifolds. In International Conference on Learning Representations.
● Qinsheng Zhang and Yongxin Chen. 2022. Fast Sampling of Diffusion Models with Exponential Integrator. In The Eleventh International Conference on Learning Representations.
● Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. 2022. Dpm-solver: A fast ode solver for diffusion probabilistic model sampling in around 10 steps. Advances in Neural Information Processing Systems 35 (2022), 5775–5787.
● Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. 2022. Dpm-solver++: Fast solver for guided sampling of diffusion probabilistic models. arXiv preprint arXiv:2211.01095

论文信息

论文标题：Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models
论文作者：段忠杰、汪诚愚、陈岑、黄俊、钱卫宁

点击立即免费试用云产品 开启云上实践之旅！

原文链接

本文为阿里云原创内容，未经允许不得转载。