返回
Visual Tuning
DOI:10.1145/3657632.png)
摘要
En 中文
微调视觉模型已被广泛证明在许多下游视觉任务上表现出有前景的性能。随着预训练视觉基础模型的惊人发展,视觉调优摆脱了标准操作模式,即要么微调整个预训练模型,要么仅微调全连接层。相反,最近的进展可以通过更新远少参数来实现优于全调优整个预训练参数的性能,从而使得边缘设备和下游应用能够重用在云端部署的日益庞大的基础模型。为帮助研究人员全面了解视觉调优的现状和未来方向,本综述对近期大量且经过深思熟虑的研究工作进行了特征分析,提供了现有工作和模型系统且全面的概述。具体而言,它提供了视觉调优的详细背景,并将近期视觉调优技术分为五类:微调、提示调优、适配器调优、参数调优和重映射调优。同时,它还提出了若干有前景的预训练和研究方向,以及视觉调优中的各种交互。
Keyword:
Foundation model
fine-tuning
parameter-efficient
pre-training
期刊
IF:
28
论文数:
2.5K
被引数:
3.5W
机构
引用论文
Desempenho de crianças do ensino fundamental na solução de problemas aritméticos<A NAME="top"></A>问题的基本解决方案
Evaluation of the Effect of Systolic Blood Pressure and Pulse Pressure on Cognitive Function: The Women's Health and Aging Study II
PLoS ONE
IF0
Ancestor-descendant relations and
incompatible data: Motivation for research in
discrete mathematics祖先-后代关系与不兼容数据:离散数学研究的动机

