.png){kind=icon}
返回
Task-Distributionally Robust Data-Free Meta-Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3609625.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
数据无依赖元学习（DFML）旨在通过从多个预训练模型中进行元学习，而无需访问其原始训练数据，从而实现对未见过的少样本任务的高效学习。尽管现有的DFML方法通常从这些模型生成合成数据以执行元学习，但关于DFML鲁棒性的全面分析——特别是其失效模式以及对潜在攻击的脆弱性——仍明显缺失。此类分析至关重要，因为算法通常在复杂且不确定的现实环境中运行。本文通过系统性地研究DFML的鲁棒性，填补了这一重要空白，并识别出两种关键但此前被忽视的脆弱性：任务分布偏移（TDS）和任务分布污染（TDC）。TDS指的是在演化的任务分布中出现的顺序偏移，导致先前学习的元知识发生灾难性遗忘。TDC暴露了DFML的安全缺陷，揭示其在预训练模型池中包含不可信模型（这些模型欺骗性地声称有益但实际上有害）时，易受攻击的脆弱性。为缓解这些脆弱性，我们提出了一种可信赖的DFML框架，包含三个组成部分：合成任务重建、带任务记忆插值的元学习，以及自动模型选择。具体而言，利用模型反转技术，我们从多个预训练模型重建合成任务以执行元学习。为防止遗忘，我们引入了一种策略，通过重放插值的历史任务来高效回忆先前的元知识。此外，我们的框架无缝集成了自动模型选择机制，可在元学习过程中自动过滤掉不可信模型。在多种数据集上针对两种类型的不可信模型进行的广泛实验证实，我们的方法在显著增强DFML的鲁棒性方面具有优越性。
Keyword:
Data-free meta-learning
synthetic data
model inversion
trustworthy machine learning
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover ClassificationEuroSAT: 用于土地利用和土地覆盖分类的新型数据集和深度学习基准
OAAI
OAAI分享收藏分享收藏分享收藏
查看更多内容