arrow
返回

Multi-Level Contextual Prototype Modulation for Compositional Zero-Shot Learning

delete2025-01-01
delete0
PRE
AI
刘
刘杨 (Yang Liu)
X
Xinshuo Wang
X
Xinbo Gao
韩
韩军功 (Jungong Han)
Ling Shao 封面图
Ling Shao (Ling Shao)
DOI:10.1109/TIP.2025.3592560delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
组合零样本学习(CZSL)旨在通过利用已知基本元素的先验知识来识别未见过的属性-对象组合。然而,属性和对象的真实世界视觉特征往往相互纠缠,导致已知和未见组合之间的分布偏移。现有方法通常忽略基本元素之间的内在变化和相互作用,导致特征判别能力差和预测偏差。为解决这些挑战,我们提出了多级上下文原型调制(MCPM),这是一种基于变换器的层次化框架,能够有效整合属性和对象以生成更丰富的视觉嵌入。在特征层面,我们应用对比学习以提高组合任务间的判别性。在原型层面,一个子类驱动的调制器捕获精细的属性-对象交互,从而更好地适应长尾分布。此外,我们引入了少数属性增强(MAE)策略,通过混合属性类别合成虚拟样本,进一步缓解数据不平衡。在四个基准数据集(MIT-States、C-GQA、UT-Zappos和VAW-CZSL)上的实验表明,MCPM带来了显著的性能提升,验证了其在复杂组合场景中的有效性。
Keyword:
Compositional zero-shot learning
vision transformer
subclass discrimination
contrastive learning
data augmentation

期刊

IEEE Transactions on Image Processing 封面图
IEEE Transactions on Image Processing
IF:
13.7
论文数:
1.0W
被引数:
8.4W

机构

T
The University of Sheffield
学者数:
558
论文数: 262
被引数: 0
U
University of Chinese Academy of Sciences
学者数:
6.8K
论文数: 2.7K
被引数: 24.6W
X
Xidian University
学者数:
2.4W
论文数: 1.9W
被引数: 9.7K
学者 查看更多机构
引用论文

引用论文

Beyond Seen Primitive Concepts and Attribute-Object Compositional Learning
err
IF0
err2024-06-16
err0
PREAI
errNirat Saini; Khoi Pham; Abhinav Shrivastava
err分享
err收藏
Learning Conditional Attributes for Compositional Zero-Shot Learning
err2023-06-01
err0
errOAAI
errQingsheng Wang; Lingqiao Liu; Chenchen Jing; Hao Chen; Guoqiang Liang; Peng Wang; Chunhua Shen
err分享
err收藏
Learning to Predict Visual Attributes in the Wild
err2021-06-01
err0
errOAAI
errKhoi Pham; Kushal Kafle; Zhe Lin; Zhihong Ding; Scott Cohen; Quan Tran; Abhinav Shrivastava
err分享
err收藏
err分享
err收藏
Task-Driven Modular Networks for Zero-Shot Compositional Learning
err2019-10-01
err0
errOAAI
errSenthil Purushwalkam; Maximillian Nickel; Abhinav Gupta; Marc'aurelio Ranzato
err分享
err收藏
学者 查看更多内容