Meta-learning for pseudo-label utility prediction: unsupervised algorithm selection via downstream classification efficiency

Karim Hallal

doi:10.1007/s41060-026-01296-2

Meta-learning for pseudo-label utility prediction: unsupervised algorithm selection via downstream classification efficiency

2026-10-07

0

PRE

AI

DOI：10.1007/s41060-026-01296-2

原文链接

原文求助

摘要

En 中文

为监督分类标注表格数据成本高昂且耗时。基于聚类的伪标签方法提供了一种无需标注的替代方案，但选择合适的聚类算法并不简单：最佳方法在不同数据集上差异显著，而全面运行所有候选算法违背了无标注学习的初衷。我们提出标签替换效率（LSE）这一新颖指标，通过比较基于伪标签训练的分类器与基于真实标签训练的分类器的平衡准确率，衡量伪标签对人工标注的替代效果。我们将LSE同时作为离散推荐目标和连续回归目标，训练了两类互补的元学习器，仅依据数据集属性推荐最佳聚类算法，无需预先运行任何聚类：一类分类元学习器直接输出推荐方法，另一类回归元学习器预测完整的六维LSE向量，并支持置信阈值、排序和精选策略。我们在94个OpenML数据集上评估了6种伪标签生成器，并测试了5种元特征表示，包括一种新颖的多尺度字典学习表示（选项C2）。我们最优的元分类器（基于C2特征的逻辑回归）达到43.6%的留一法top-1准确率，几乎翻倍了de Souto默认排序基线（22.3%）。配对显著性检验显示元学习器显著优于弱启发式基线（p=0.003），尽管没有单一元特征表示显著优于其他（所有成对比较p>0.08），表明该框架的优势不依赖于特定特征工程选择，而是对之具有鲁棒性。

Keyword:

Meta-learning

Algorithm selection

Pseudo-labeling

Clustering

Dictionary learning

SHAP

Tabular data.

Meta-learning for pseudo-label utility prediction: unsupervised algorithm selection via downstream classification efficiency

摘要

期刊

机构

引用论文