.png){kind=icon}
返回
Probabilistic Visual Prompt Tuning
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-5679-3_30.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大规模预训练模型在各种下游任务中表现出色，但其不断增长的规模需要巨大的计算和存储资源，限制了实际应用。为解决这一问题，已开发出高效的微调方法，通过仅修改少量参数来适应模型。视觉提示调优（VPT）是一种有前景的方法，它在输入端添加可学习的提示，并与分类头一起进行微调，而无需改变模型的主干网络。然而，现有的VPT方法通常仅使用低维表示，这限制了其捕获复杂信息并适应多样化数据集的能力。本研究提出了概率视觉提示调优（PVPT），这是一种增强的VPT方法，利用高斯分布采样生成鲁棒且准确的视觉提示。PVPT首先整合两个轻量级网络，从下游数据集中提取领域级和实例级特征，然后将这些特征融合以定义高斯分布的参数（均值和方差）。通过从该分布中进行采样生成概率视觉提示，允许将不确定性纳入提示中。这种概率方法使PVPT能够捕获更复杂的特征，表征下游数据的潜在分布，从而为预训练模型的高效微调提供精确指导。在多个下游任务上的广泛实验和消融研究显示，PVPT在保持高效微调的同时提升了预训练模型的性能，突显了其实际应用潜力。
Keyword:
Parameter-efficient fine-tuning
Visual prompt tuning
Probability distribution modeling
期刊
P
IF:
0
论文数:
31
被引数:
0
机构
引用论文
.png){kind=icon}
Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based LocalizationGrad-cam: 通过基于梯度的定位从深度网络进行视觉解释
OAAI
OAAI分享收藏Learning Expressive Prompting With Residuals for Vision Transformers学习带残差的生成式提示方法用于视觉Transformer
OAAI
OAAI分享收藏
查看更多内容