Ref-Diff: zero-shot referring image segmentation with generative models

Minheng Ni

doi:10.1007/s11432-024-4985-y

Ref-Diff: zero-shot referring image segmentation with generative models

2026-07-31

0

PRE

AI

DOI：10.1007/s11432-024-4985-y

原文链接

原文求助

摘要

En 中文

零样本指代图像分割（RIS）是一项挑战性任务，涉及从指代文本中识别实例分割掩码，而无需在配对图像-文本数据上进行训练。当前零样本RIS方法主要依赖预训练的判别模型（如CLIP）。相比之下，本研究探讨了生成模型（如Stable Diffusion）在理解各种视觉元素与文本描述之间关系的潜力，这一领域在此背景下尚未被探索。在本工作中，我们引入了指代扩散分割器（Ref-Diff），一种利用生成模型提供的细粒度多模态信息的模型。我们的结果表明，Ref-Diff仅使用生成模型且无需外部提议生成器，在RefCOCO+和RefCOCOg基准上优于当前最先进的弱监督模型。此外，通过结合生成和判别模型，我们提出了增强版本Ref-Diff+，其显著超越了现有方法。这强调了生成模型对判别模型的益处，从而改进了指代分割。

Keyword:

deep learning

generative model

referring image segmentation

zero-shot learning

zero-shot referring image segmentation

Ref-Diff: zero-shot referring image segmentation with generative models

摘要

期刊

机构

引用论文