.png){kind=icon}
返回
Learning from models beyond fine-tuning
.png){kind=icon}
PRE
AI
DOI：10.1038/s42256-024-00961-0.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基础模型已在各种任务中展现出卓越的性能，这主要归因于它们理解指令和获取海量、高质量数据的能力。这些能力彰显了当前基础模型的有效性，并预示着良好的发展前景。由于存在多种约束条件，如用于训练基础模型的原始数据的极端稀缺性或不可获取性，以及从零开始训练大规模基础模型的高昂成本，使用现有的基础模型或应用程序接口（API）处理下游任务已成为新的研究趋势，我们将其称为“从模型学习”（Learn from Model, LFM）。LFM涉及通过微调、编辑和融合等方法从基础模型中提取并利用先验知识，并将其应用于下游任务。我们强调，在数据稀缺场景下最大化利用参数化知识对LFM至关重要。分析LFM范式有助于指导在特定场景下选择最合适的技术，以最小化参数存储和计算成本，同时提升基础模型在新任务上的性能。本文综述从LFM视角出发，对当前基于基础模型的方法进行了全面概述。
期刊
IF:
23.9
论文数:
1.3K
被引数:
1.9W
机构
暂无机构信息
引用论文
.png){kind=icon}
A Heuristic Exploration of Retraining-free Weight-Sharing for CNN Compression一种用于CNN压缩的无需重新训练的权重共享的启发式探索
OAAI
OAAI分享收藏AdapterFusion: Non-Destructive Task Composition for Transfer LearningAdapterFusion: 用于迁移学习的非破坏性任务组合OAAI
OAAI分享收藏分享收藏
分享收藏
查看更多内容