AnyText —— 多语言视觉文本生成和编辑

AnyText 包含一个具有两个主要元素的 diffusion pipeline：辅助潜在模块和文本嵌入模块。

前者使用文本字形、位置和蒙版图像等输入来生成用于文本生成或编辑的潜在特征。后者采用 OCR 模型将笔划数据编码为嵌入，与 tokenizer 中的图像标题嵌入混合，生成与背景无缝集成的文本。采用 text-control diffusion loss 和  text perceptual loss 进行训练，以进一步提高书写准确性。