小红书 AIGC 团队提出布局控制生成新算法 InstanceAssemble
小红书 AIGC 团队推出全新布局可控生成框架 InstanceAssemble,专为应对复杂场景下的 Layout-to-Image 任务。 InstanceAssemble 框架通过级联结构将文本语义与布局信息分阶段建模,并引入全新的 Assemble-Attention,让模型在面对高密度、多实例布局时依然能保持清晰的空间理解与精准对齐。 同时,InstanceAssemble 采用极轻量的 LoRA 适配方式(仅占 SD3-Medium 3.46%、Flux.1 0.84% 参数),即可在保持底模能力的前提下,实现灵活的文本与参考图多模态控制。我们还构建了全新的 DenseLayout 基准与可解释评价指标 LGS,让布局对齐的评估更加精确可靠。 整体来看,InstanceAssemble 在复杂布局场景下表现稳健,生成质量与可控性均达到业内领先水平。 论文标题:InstanceAssemble: Layout-Aware Image Generation via Instance Assembling Attention 论文链接:https://arxiv.org/abs/...


