.png){kind=icon}
返回
FACT: A Simple and Efficient Framework for Active Finetuning
.png){kind=icon}
PRE
AI
DOI：10.1109/TIP.2026.3700910.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
主动微调的主要目标是通过精心选择的信息丰富或具有挑战性的数据，对预训练模型在特定任务或领域上的性能进行改进。以往研究主要关注主动学习方面（即数据选择），同时统一采用全微调进行模型适配，这不可避免地因分布偏移而扭曲预训练特征。当模型规模相对于微调数据量较大时，这一问题尤为突出，导致过拟合风险加剧。为解决这一关键缺口，我们正式提出了FiAF任务，强调在主动学习中系统地探索微调方法。我们提出了FACT，一种具有高效性和简洁性的三阶段层次化微调框架，专为主动微调场景设计。我们的全面实验涵盖：1）三类主要数据集，包括经典（CIFAR10、CIFAR100、ImageNet-1k）、不平衡（CIFAR10-LT、CIFAR100-LT）和细粒度（StanfordCars、FGVCAircraft）图像分类数据集，每种数据集在3-5种不同采样比例下进行评估；2）多种预训练架构，包括卷积神经网络（ConvNeXt）、视觉Transformer（ViT）和视觉LSTM（ViL）网络；3）对冻结特征增强（FroFA）策略的系统研究；4）对效率和泛化能力的全面而严谨的分析。结果表明，在保持强泛化能力和鲁棒性的同时实现了显著改进。值得注意的是，在低采样比例下，我们的框架在CIFAR10、CIFAR100和ImageNet-1k基准测试的ViT模型上实现了超过20%的显著性能提升。这一系统方法在保持参数高效性的同时确立了新的最佳性能，尤其在标注数据稀缺时表现出色。
Keyword:
Active finetuning
finetuning framework
image classification
semantic segmentation
