使用 🧨 Diffusers 实现 ControlNet 高速推理
自从 Stable Diffusion 风靡全球以来,人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法,能够允许用户在很大程度上自定义生成过程。通过 ControlNet,用户可以轻松地使用多种空间语义条件信息 (例如深度图、分割图、涂鸦图、关键点等) 来控制生成过程。 具体来说,我们可以: 将卡通绘图转化为逼真的照片,同时保持极佳的布局连贯性。 写实版的 Lofi Girl (上: 原图,下: 新图) 进行室内设计。 原图 新图 将涂鸦草图变成艺术作品。 原图 新图 甚至拟人化著名的 logo 形象。 原图 新图 ControlNet,使一切皆有可能 🌠 本文的主要内容: 介绍 StableDiffusionControlNetPipeline 展示多种控制条件样例 让我们开启控制之旅! ControlNet 简述 ControlNet 在 Adding Conditional Control to Text-to-Image Diffusion Models 一文中提被出,作者是 Lvmin Zhang 和 Maneesh Agraw...



