Transferability prediction in sparse data regime using multi-resolution KNN predictor

Napa Sae-Bae

doi:10.1007/s00521-025-11625-4

Transferability prediction in sparse data regime using multi-resolution KNN predictor

2025-09-13

0

PRE

AI

DOI：10.1007/s00521-025-11625-4

原文链接

原文求助

摘要

En 中文

基于预训练模型的迁移学习是一种强大的技术，但在数据有限的情况下为新任务选择表现最佳的模型可能具有挑战性。本文提出了一种新颖的方法，用于预测低数据场景下预训练模型的表现排名。该方法有望显著简化模型选择过程，使实践者能够在最小化资源消耗的同时最大化性能。需要注意的是，本研究提出了一种针对处理特定领域结构化数据（以图像数据集为例）的预训练模型的迁移性预测指标，不应推广至非结构化或任意表格格式。所提方法采用两步流程：首先，通过利用多分辨率K近邻（KNN）算法结合重采样技术，基于候选模型从目标数据集中提取的特征来估计每个候选模型的预期表现及其关联方差；其次，利用霍特林T平方检验来确定连续排名模型之间的性能差异是否具有统计学意义。该方法的有效性通过分层下采样来模拟低数据场景进行评估。具体而言，本研究提出的BiMod和SimBoot方法显著提升了迁移性预测能力。它们实现了高计算效率，运行速度比LogMe快3倍，比Transrate快几个数量级。更重要的是，它们还展现出卓越的预测性能，在多样化的低数据场景中（例如，CIFAR10达到0.876，CIFAR100达到0.869）始终产生最高的加权肯德尔τ分数，并以显著的稳定性超越了所有基准方法。

Keyword:

Transferability

Pre-trained model selection

A multi-resolution KNN predictor

Transferability prediction in sparse data regime using multi-resolution KNN predictor

摘要

期刊

机构

引用论文