.png){kind=icon}
返回
Diffusion-Based Text-Guided Image Generation With Fine-Grained Spatial Object-Attribute Relationships
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3639218.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
表达和控制大规模模型中物体的细粒度空间属性带来了显著挑战，因为这些空间属性通常难以文本化描述，且穷举枚举不切实际。这阻碍了在细粒度合成任务中与用户偏好关于空间属性-物体关系的高效对齐。为解决此问题，我们提出了AttrObjDiff框架，该框架基于预训练的Stable Diffusion模型构建，用于集成空间属性图。首先，AttrObjDiff通过可训练的交叉注意力融合模块、属性增强交叉注意力及LoRAs来约束去噪步骤。融合模块以冻结ControlNet提取的布局特征和对应的细粒度属性图作为输入，生成空间属性-物体关系的联合约束特征。我们利用U-Net中的属性增强交叉注意力进一步细化这些空间属性。最后，采用LoRAs对这些细粒度关系的联合约束特征进行对齐。其次，AttrObjDiff通过轻量级噪声重排序模型增强反向过程，以提升空间物体-属性对齐。重排序模型筛选与细粒度关系相关的语义噪声，在无需显著增加计算成本的情况下提高合成质量。实验结果表明，我们的方法能够根据细粒度空间物体-属性关系生成高质量图像，提升合成可控性和语义一致性。
Keyword:
Attribute map
lightweight noise reranking
cross-attention fusion
期刊
IF:
11.1
论文数:
869
被引数:
3.1W
机构
引用论文
Diffusion-Enhanced PatchMatch: A Framework for Arbitrary Style Transfer with Diffusion Models扩散增强PatchMatch：一种基于扩散模型的任意风格迁移框架
.png){kind=icon}
PREAI
分享收藏
分享收藏分享收藏
查看更多内容