DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning

Jun Shu

doi:10.1109/TPAMI.2026.3680442

DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning

2026-04-03

0

PRE

AI

DOI：10.1109/TPAMI.2026.3680442

原文链接

原文求助

摘要

En 中文

元学习近期已得到大量研究，并推动了当代机器学习的进展。然而，实现高性能的元学习模型需要大量带有高质量元数据的高质量训练任务，以体现底层任务泛化目标，这对于实际应用而言有时难以且昂贵获取。当前基于元数据的元学习方法难以通过不完美的训练任务训练出令人满意的元模型。为解决此问题，我们提出一种基于元知识的元学习（MKIML）框架，通过额外整合补偿性元知识来改进元学习过程。我们初步将任务无关的元知识整合到元目标中，通过使用适当的元正则化（MR）目标来正则化元模型函数类的容量复杂度，以促进对未见任务的更好泛化。作为一种具体实现，我们引入数据增强一致性来编码不变性作为元知识以实例化MR目标，记为DAC-MR。所提出的DAC-MR有望从带有噪声、稀疏或缺失元数据的训练任务中学习高性能的元模型。我们理论上证明了DAC-MR可作为在不具备高质量元数据情况下评估元模型的代理元目标。此外，结合DAC-MR的元数据驱动元损失目标能够实现更好的元级泛化。12个具有不同网络架构和基准的元学习任务验证了我们的DAC-MR在辅助元模型学习方面的能力。DAC-MR在所有设置中均获得优异性能，且与我们的理论见解高度一致。这表明我们的DAC-MR具有问题无关性，有望被广泛应用于各类元学习问题和任务。

Keyword:

Data augmentation consistency

meta-regularization

meta-knowledge

meta-learning

meta-data

generalization

DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning

摘要

期刊

机构

引用论文