返回
Towards Natural Machine Unlearning
DOI:10.1109/TPAMI.2025.3597350.png)
摘要
En 中文
机器遗忘(MU)旨在从预训练模型中消除从特定训练数据(即遗忘数据)中学到的信息。目前,基于重标签的MU方法的主流做法是使用错误标签修改遗忘数据,随后微调模型。虽然学习此类错误信息确实能移除知识,但该过程相当不自然,因为遗忘过程会不必要地强化错误信息并导致过度遗忘。为寻求更自然的机器遗忘,我们在更改其标签时,将剩余数据中的正确信息注入到遗忘样本中。通过将这些调整后的样本与其标签配对,模型倾向于使用注入的正确信息,并自然地抑制了需要遗忘的信息。尽管简单,但这一迈向自然机器遗忘的初步方法能够显著超越当前的最先进方法。具体而言,我们的方法显著减少了过度遗忘问题,并在不同遗忘任务中展现出强大的鲁棒性,使其成为实用机器遗忘的有前景的候选方案。
Keyword:
Machine unlearning (MU)
natural unlearning
over-forgetting
期刊
IF:
18.6
论文数:
1.0K
被引数:
9.8W
机构
引用论文
暂无论文信息

