.png){kind=icon}
返回
Consistent prompt learning for vision-language models
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2025.112974.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
预训练的视觉-语言模型，如CLIP，通过学习由上下文与类别名称拼接而成的提示，已在各种下游任务中展现出显著能力；例如，使用"(dog]"作为类别先验的提示"a photo of a (dog]"。先进的提示学习方法通常初始化并优化上下文，例如为下游任务适配而优化"a photo of a "。然而，上下文优化通常会导致在新类别或不同分布数据集上的泛化性能较差。这或许可归因于提示不一致性；即，使用一种图像分布优化的提示可能与使用不同图像分布优化的提示存在差异。为提升优化提示的泛化性能，我们提出了新颖的一致提示学习（CPL）方法，通过执行分布探索来识别并解决导致提示不一致的图像分布。CPL在对抗训练方案中识别并缓解提示不一致性，其中提示不一致性被定义为图像与两个不同提示之间的相似性差异。具体而言，CPL计算查询图像与两个提示之间的两种相似性，并通过这两种相似性之间的差异来确定提示不一致性。随后，CPL执行分布探索以扩大差异，并采用对抗训练方法来缓解该差异。因此，模型预测对提示变化不敏感。优化后的提示在各种图像分布下均表现良好。全面的实验表明，所提出的CPL方法在11个数据集上的4种代表性任务中表现出色，优于现有提示学习方法，实现了最佳性能。
Keyword:
Prompt learning
Vision-language models
Domain generalization
Domain adaptation
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
.png){kind=icon}
分享收藏EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover ClassificationEuroSAT: 用于土地利用和土地覆盖分类的新型数据集和深度学习基准
OAAI
OAAI分享收藏The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization健壮性的多面: 分布外泛化的批判性分析
OAAI
OAAI分享收藏CLIP-Adapter: Better Vision-Language Models with Feature AdaptersCLIP-Adapter: 具有功能适配器的更好的视觉语言模型
PREAI
分享收藏
查看更多内容