.png){kind=icon}
返回
Parameter-Efficient Fine-Tuning for Foundation Models
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-026-03004-w.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文综述深入探讨了基础模型（FMs）背景下参数高效微调（PEFT）领域。PEFT作为一种成本效益高的微调技术，在最小化参数和计算复杂度的同时，力求实现下游任务的最优性能。基础模型，如GPT、SAM和FLUX，专长于语言理解、生成任务和多媒体任务，这些模型在涵盖文本、图像和视频的多样化数据集上进行训练。基础模型的多样性引导了各种PEFT的适配策略。因此，本文旨在全面概述应用于多样化基础模型的PEFT技术，并解决在理解技术、趋势和应用方面存在的关键空白。我们首先详细介绍了基础模型和PEFT的发展历程。随后，我们系统地回顾了PEFT在多样化基础模型中的关键类别和核心机制，以提供对趋势的全面理解。我们还探索了最新应用，以展示PEFT的多样性，并阐明系统性PEFT方法与多种基础模型的整合。此外，我们识别了未来改进PEFT的潜在研究和开发方向。本综述为希望理解和利用跨基础模型PEFT力量的初学者和专家提供了宝贵资源。所有评述论文均列于Awesome-PEFT。
Keyword:
Parameter-efficient fine-tuning
Foundation model
Large language model
Visual foundation model
Multi-modal foundation model
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
引用论文
SCT: A Simple Baseline for Parameter-Efficient Fine-Tuning via Salient ChannelsSCT: 通过显着通道进行参数有效微调的简单基线
.png){kind=icon}
PREAI
分享收藏
分享收藏LLMFormer: Large Language Model for Open-Vocabulary Semantic SegmentationLLMFormer: 用于开放词汇语义分割的大型语言模型
PREAI
分享收藏CLIP-Adapter: Better Vision-Language Models with Feature AdaptersCLIP-Adapter: 具有功能适配器的更好的视觉语言模型
PREAI
分享收藏AdaptFormer: Adapting Vision Transformers for Scalable Visual RecognitionAdaptformer：适应视觉Transformer以实现可扩展的视觉识别
PREAI
分享收藏STP: Special token prompt for parameter-efficient tuning of pre-trained language modelsSTP：用于预训练语言模型参数高效调优的特殊标记提示
PREAI
分享收藏 没有更多内容
没有更多内容