arrow
返回

Visual Tuning

delete2024-07-25
delete1
delete
OA
AI
B
Bruce X. B. Yu
J
Jianlong Chang
H
Haixin Wang
L
Lingbo Liu
S
Shijie Wang
Z
Zhiyu Wang
J
Junfan Lin
L
Lingxi Xie
H
Haojie Li
Z
Zhouchen Lin
Qi Tian 封面图
Qi Tian (Qi Tian)
C
Chang Wen Chen
DOI:10.1145/3657632delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
微调视觉模型已被广泛证明在许多下游视觉任务上表现出有前景的性能。随着预训练视觉基础模型的惊人发展,视觉调优摆脱了标准操作模式,即要么微调整个预训练模型,要么仅微调全连接层。相反,最近的进展可以通过更新远少参数来实现优于全调优整个预训练参数的性能,从而使得边缘设备和下游应用能够重用在云端部署的日益庞大的基础模型。为帮助研究人员全面了解视觉调优的现状和未来方向,本综述对近期大量且经过深思熟虑的研究工作进行了特征分析,提供了现有工作和模型系统且全面的概述。具体而言,它提供了视觉调优的详细背景,并将近期视觉调优技术分为五类:微调、提示调优、适配器调优、参数调优和重映射调优。同时,它还提出了若干有前景的预训练和研究方向,以及视觉调优中的各种交互。
Keyword:
Foundation model
fine-tuning
parameter-efficient
pre-training

期刊

ACM Computing Surveys 封面图
ACM Computing Surveys
IF:
28
论文数:
2.5K
被引数:
3.5W

机构

G
Gansu Prov Hepatobiliary Pancreat Dis Precis Diag
学者数:
951
论文数: 402
被引数: 148
H
Huawei
学者数:
72
论文数: 42
被引数: 4
Z
Zhejiang Prov Engn Res Ctr Multimodal Transport L
学者数:
1
论文数: 1
被引数: 2
学者 查看更多机构
引用论文

引用论文

Transformers in Vision: A Survey视觉中的变形金刚: 一项调查
err2022-09-13
err1.1K
errOAAI
errKhan, Salman; Naseer, Muzammal; Hayat, Munawar; Zamir, Syed Waqas; Khan, Fahad Shahbaz; Shah, Mubarak
err分享
err收藏
Learning Student Networks via Feature Embedding
err2021-01-01
err46
errOAAI
errChen, Hanting; Wang, Yunhe; Xu, Chang; Xu, Chao; Tao, Dacheng
err分享
err收藏
Evaluation of the Effect of Systolic Blood Pressure and Pulse Pressure on Cognitive Function: The Women's Health and Aging Study II
err2011-12-09
err0
errOAAI
errSevil Yasar; Jean Y. Ko; Stephanie Nothelle; Michelle M. Mielke; Michelle C. Carlson
err分享
err收藏
学者 查看更多内容