Rethinking Generalized Zero-Shot Learning: A Synthesized Per-Instance Attribute Perspective

Chenwei Tang

doi:10.1109/TIP.2025.3607612

Rethinking Generalized Zero-Shot Learning: A Synthesized Per-Instance Attribute Perspective

2025-01-01

0

PRE

AI

DOI：10.1109/TIP.2025.3607612

原文链接

原文求助

摘要

En 中文

广义零样本学习（GZSL）在提高真实场景中对未见类别的泛化能力方面展现出巨大潜力。然而，大多数GZSL方法依赖于带有每类属性标注的基准数据集，这造成了视觉-语义空间中巨大的语义差距，并加剧了领域偏移问题。为解决这些挑战，实例级属性提供了一种直观的解决方案，但它们需要昂贵的手动标注。在本文中，我们提出了一种简单而有效的方法，称为实例级属性合成（PIAS），用于为每个实例生成多样化的语义表示。我们的方法首先使用Vision Transformer（ViT）模型提取视觉特征，然后生成实例级属性。ViT中的补丁分割、位置嵌入和多头自注意力机制提高了视觉和语义表示的判别力。接下来，我们将类别平均图像的生成属性定义为类别锚点。这些锚点通过最小化锚点与每类属性标注之间的余弦相似度在语义空间中进行校准。最后，我们通过将每类属性标注与合成实例级属性之间的拓扑结构与类别平均视觉特征与实例级视觉特征之间的拓扑结构对齐，来提高生成实例级属性的多样性。我们在三个具有挑战性的ZSL数据集（AWA2、CUB和SUN）上进行了全面的实验。结果表明，PIAS在ZSL和GZSL设置下均显著优于现有最先进的方法。此外，我们将PIAS应用于基于属性的零样本图像检索任务，进一步证明了其泛化能力。

Keyword:

Zero-shot learning

vision transformer

domain shift

semantic consistency

intra-class diversity

Rethinking Generalized Zero-Shot Learning: A Synthesized Per-Instance Attribute Perspective

摘要

期刊

机构

引用论文