arrow
返回

Towards Natural Machine Unlearning

delete2025-08-11
delete0
PRE
AI
Z
Zhengbao He
T
Tao Li
X
Xinwen Cheng
Z
Zhehao Huang
X
Xiaolin Huang
DOI:10.1109/TPAMI.2025.3597350delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
机器遗忘(MU)旨在从预训练模型中消除从特定训练数据(即遗忘数据)中学到的信息。目前,基于重标签的MU方法的主流做法是使用错误标签修改遗忘数据,随后微调模型。虽然学习此类错误信息确实能移除知识,但该过程相当不自然,因为遗忘过程会不必要地强化错误信息并导致过度遗忘。为寻求更自然的机器遗忘,我们在更改其标签时,将剩余数据中的正确信息注入到遗忘样本中。通过将这些调整后的样本与其标签配对,模型倾向于使用注入的正确信息,并自然地抑制了需要遗忘的信息。尽管简单,但这一迈向自然机器遗忘的初步方法能够显著超越当前的最先进方法。具体而言,我们的方法显著减少了过度遗忘问题,并在不同遗忘任务中展现出强大的鲁棒性,使其成为实用机器遗忘的有前景的候选方案。
Keyword:
Machine unlearning (MU)
natural unlearning
over-forgetting

期刊

IEEE Transactions on Pattern Analysis and Machine Intelligence 封面图
IEEE Transactions on Pattern Analysis and Machine Intelligence
IF:
18.6
论文数:
1.0K
被引数:
9.8W

机构

S
shanghai jiao tong university
学者数:
15.7W
论文数: 11.7W
被引数: 159
引用论文

引用论文

暂无论文信息