Learning Dual-Stream Conditional Concepts in Compositional Zero-Shot Learning

Qingsheng Wang

doi:10.1109/TPAMI.2025.3597668

Learning Dual-Stream Conditional Concepts in Compositional Zero-Shot Learning

0

PRE

AI

DOI：10.1109/TPAMI.2025.3597668

原文链接

原文求助

摘要

En 中文

组合零样本学习（CZSL）旨在识别由已知单概念组成的未见组合概念。CZSL的一个问题是建模属性与物体的交互以及物体与属性的交互。在本工作中，我们聚焦于该问题，并提出了双流条件网络（DSCNet），通过学习双流条件概念作为解决方案，其中学习属性和物体的条件视觉和语义嵌入。首先，我们论证属性或物体的条件应包含被识别的物体和输入图像，或被识别的属性和输入图像。其次，对于每个概念（可以是属性或物体），在语义流中，我们提出将识别的物体或属性语义特征与输入图像视觉特征编码为编码条件，然后通过语义交叉编码器注入所有概念的语义嵌入中，以获取条件语义嵌入。在视觉流中，通过将被识别的物体或属性的语义特征注入映射后的属性或物体视觉特征中，获取条件属性或物体视觉嵌入。在CZSL基准上的实验结果证明了我们提出方法的优势。

Keyword:

Compositional zero-shot learning

compositional generalization

tuning soft prompts

zero-shot learning

Learning Dual-Stream Conditional Concepts in Compositional Zero-Shot Learning

摘要

期刊

机构

引用论文