返回
Generative compositional zero-Shot learning using learnable primitive disparity
DOI:10.1016/j.knosys.2026.115278.png)
摘要
En 中文
组成零射学习旨在从图像中识别对象和属性类别,包括在训练期间未观察到的新颖的属性-对象组合。一个关键的挑战是在没有监督的情况下正确识别看不见的成分,同时避免依赖类名和视觉内容之间的不一致关联。这个问题主要来自使用直接绑定到类标签的固定文本嵌入。为了克服这些挑战,我们提出了一种新颖的框架,可以在不依赖文本标签的情况下学习原始差异。我们的方法将基于嵌入的策略与生成框架集成在一起,这种方法在组合学习中受到的关注有限。具体地,通过比较共享嵌入空间中的视觉和文本表示来识别基元课程。为了提高视觉特征质量,我们引入了一种特定于区域的特征聚合策略,该策略可以有效地捕获与属性相关的信息。此外,为了缓解零射学习场景中的数据稀缺,我们设计了一个生成模块,该模块使用基于度量学习的三元组和具有可学习类特征的特征差异建模来合成看不见的特征。该模块可以在统一的视觉空间中进行特征合成,从而减少对现有方法中常用的文本驱动知识的依赖。然后使用合成的特征来联合改进视觉和文本表示,从而提高泛化性能。在四个广泛使用的基准数据集上进行的大量实验表明,我们的方法优于最先进的方法。该代码将在发布后发布。
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
暂无论文信息

