多场景 PAI-Diffusion 中文模型家族大升级,12个模型、2个工具全部开源
概述 在过去几年中,随着AI生成内容(AI Generated Content,AIGC)的快速发展,Stable Diffusion模型在该领域崭露头角。阿里云机器学习PAI团队为推动这一领域的发展,参考了Stable Diffusion的模型结构,结合中文语言的特点,通过大量对模型预训练数据的处理和过滤,以及训练过程的优化,提出了PAI-Diffusion中文文图生成模型,实现了图像生成质量的大幅提升和风格多样化(看这里)。PAI-Diffusion模型的Pipeline不仅包含了标准的Diffusion Model,还集成了中文CLIP跨模态对齐模型,使得模型能够生成符合中文文本描述的各种场景下的高清大图(看这里)。此外,我们也推出了PAI的自研Prompt美化器BeautifulPrompt,赋能Stable Diffusion类应用一键出美图(看这里)。 我们在这次的工作中,将PAI-Diffusion中文模型家族扩展到多种应用场景,支持文生图、文图生图、图像修复、LoRA、ControlNet等多种常见功能。为了更好地与开源社区互动,我们将12个PAI-Diffusion中...