Efficient Multi-Instance Generation With Janus-Pro-Driven Prompt Parsing

doi:10.1109/TCSVT.2026.3666039

Efficient Multi-Instance Generation With Janus-Pro-Driven Prompt Parsing

2026-02-23

0

PRE

AI

DOI：10.1109/TCSVT.2026.3666039

原文链接

原文求助

摘要

En 中文

基于文本引导的扩散模型最新进展已革新条件图像生成，但其因空间定位不精确和可扩展性有限而难以合成包含多个物体的复杂场景。我们通过两个关键模块解决这些挑战：1）Janus-Pro驱动的提示解析，一种将文本理解与布局生成相结合的提示-布局解析模块，采用紧凑的1B参数架构；2）MIGLoRA，一种参数高效的插件，将低秩适配（LoRA）集成到UNet（SD1.5）和DiT（SD3）骨干网络中。MIGLoRA能够保留基础模型参数并确保即插即用适配性，在最小化架构侵入的同时实现高效微调。为支持全面评估，我们创建了DescripBox和DescripBox-1024基准数据集，涵盖多样场景和分辨率。所提方法在COCO和LVIS基准上取得最佳性能，同时保持参数高效性，展现出卓越的布局保真度和开放世界合成的可扩展性。项目主页：https://github.com/FanQi-AI/MIGLoRA

Keyword:

Diffusion models

multi-instance generation

low-rank adaptation

prompt engineering

layout-to-image generation

Efficient Multi-Instance Generation With Janus-Pro-Driven Prompt Parsing

摘要

期刊

机构

引用论文