返回
Multi-Level Contextual Prototype Modulation for Compositional Zero-Shot Learning
DOI:10.1109/TIP.2025.3592560.png)
摘要
En 中文
组合零样本学习(CZSL)旨在通过利用已知基本元素的先验知识来识别未见过的属性-对象组合。然而,属性和对象的真实世界视觉特征往往相互纠缠,导致已知和未见组合之间的分布偏移。现有方法通常忽略基本元素之间的内在变化和相互作用,导致特征判别能力差和预测偏差。为解决这些挑战,我们提出了多级上下文原型调制(MCPM),这是一种基于变换器的层次化框架,能够有效整合属性和对象以生成更丰富的视觉嵌入。在特征层面,我们应用对比学习以提高组合任务间的判别性。在原型层面,一个子类驱动的调制器捕获精细的属性-对象交互,从而更好地适应长尾分布。此外,我们引入了少数属性增强(MAE)策略,通过混合属性类别合成虚拟样本,进一步缓解数据不平衡。在四个基准数据集(MIT-States、C-GQA、UT-Zappos和VAW-CZSL)上的实验表明,MCPM带来了显著的性能提升,验证了其在复杂组合场景中的有效性。
Keyword:
Compositional zero-shot learning
vision transformer
subclass discrimination
contrastive learning
data augmentation
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W

