返回
SimZSL: Zero-Shot Learning Beyond a Pre-defined Semantic Embedding Space
DOI:10.1007/s11263-025-02422-6.png)
摘要
En 中文
零样本识别的核心在于学习表示,以将知识从已见类别转移到未见类别。其中,基础方法通过语义嵌入空间(如属性或词向量)实现知识迁移,而当前最先进技术则依赖提示预训练的视觉-语言模型获取类别嵌入。无论零样本学习采用属性、CLIP或其他方法,现有方法实际上都假设存在一个预定义的嵌入空间,使已见和未见类别能够被定位。我们的工作关注真实世界的零样本设置,其中无法假设存在预定义的嵌入空间。这在生物学和医学等领域是自然的,因为类别名称并非通用英文单词,导致视觉-语言模型失效;或者在神经科学中,类别关系仅通过非语义的人类比较评分给出。我们发现存在一种数据结构,能够在标准和非标准设置下实现零样本学习:覆盖已见和未见类别的相似度矩阵。我们提出四种基于相似度的零样本学习挑战,应对开放场景,如使用非通用类别名称学习、从多个部分来源学习以及在学习中处理缺失知识。作为超越预定义语义嵌入空间的零样本学习的第一步,我们提出kappa-MDS方法,这是一种通用方法,仅通过相似度即可为每个类别在任意流形上获取原型,即使部分相似度缺失。我们的方法可集成到任何标准的、超球面或双曲面的零样本学习器中。在现有数据集和新基准上的实验展示了基于相似度的零样本学习的潜力和挑战。
Keyword:
Zero-shot learning
Similarity matrix
Partial prior knowledge
Kappa-MDS
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W

