.png){kind=icon}
返回
Attribute Prompt Alignment Network for Zero-Shot Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TNNLS.2025.3598191.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在传统的零样本学习（ZSL）范式中，类别attributes是从已知类到未知类实现知识泛化转移的关键。相比之下，当前的对比语言-图像预训练（CLIP）模型依赖于类别names来实现更通用的ZSL类预测。然而，当传统的ZSL遇到通用的CLIP时，双方现有的大多数方法都难以相互受益。本文中，我们采用属性提示调优（APT）来改进从预训练的CLIP模型到下游ZSL框架的知识转移能力，以追求期望的特征表示。我们提出的方法，称为属性提示对齐网络（APAN），利用APT进行跨网络特征对齐（CFA）。通过这种方式，我们可以借助双分支APAN架构，在大模型时代探究CLIP对传统ZSL任务的影响。具体而言，APT以类别属性描述模板作为输入生成属性提示，进而通过视觉-语义交互注意力引导两个冻结特征提取网络中的视觉区域定位。这使得APAN能够逐步优化和对齐这些跨网络特征，从而得到能够捕捉细粒度属性信息的泛化特征表示。对于CFA，我们仅引入预测对齐损失，以约束来自这两个跨网络视觉特征的预测。在三个基准数据集上的实验结果充分表明，APAN通过吸收CLIP模型的泛化知识，显著优于当前最优方法。
Keyword:
Attention
attribute prompt
contrastive language-image pretraining (CLIP)
zero-shot learning (ZSL)
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
引用论文
.png){kind=icon}
Zero-Shot Learning—A Comprehensive Evaluation of the Good, the Bad and the Ugly零拍学习 -- 综合评价好、坏、丑
OAAI
OAAI分享收藏A Novel Perspective to Zero-Shot Learning: Towards an Alignment of Manifold Structures via Semantic Feature Expansion零射击学习的新视角: 通过语义特征扩展实现流形结构的对齐
OAAI
OAAI分享收藏
查看更多内容