The forget-set identification problem

Andrea D’Angelo

doi:10.1007/s10994-025-06897-9

The forget-set identification problem

2025-10-15

0

OA

AI

DOI：10.1007/s10994-025-06897-9

原文链接

原文求助

摘要

En 中文

机器遗忘（MU）是从训练好的机器学习模型中移除用户不希望保留的证据的影响这一问题。MU通常被定义为输入的不希望保留的证据对应于用于训练模型的原始训练集的一个子集，这通常被称为“遗忘集”。然而，在实际场景中，这一要求往往难以满足，因为用户可能不了解训练集的特殊性，或者他们根本无法访问训练集。在更现实的设置中，用户以比精确的训练数据子集更抽象或不同的形式提供其不希望保留的证据。在这种情况下，执行MU方法需要一个基本且具有挑战性的初步步骤，据我们所知，这一问题此前从未被解决：即根据用户不希望保留的证据来识别遗忘集。本文填补了MU文献中的一个重要空白，并引入了遗忘集识别（ForSId）问题：给定一个训练好的机器学习模型、一个“不希望保留的样本集”（即需要遗忘的证据）和一个“希望保留的样本集”（即需要保留的证据），识别训练集的一个子集作为遗忘集，使得原始模型与在移除遗忘集后的剩余训练数据上重新训练的模型之间的预测相似度满足：(i) 在不希望保留的样本集上较低，表明模型已有效遗忘这些样本；(ii) 在希望保留的样本集上较高，以确保模型在需要保留的数据上保持原有性能。我们将ForSId定义为一个优化问题，证明了其NP难度，并基于与红蓝集合覆盖问题的理论联系设计了一种算法。我们的ForSId是MU的一个新型互补问题。它作为执行MU方法前的必要基础步骤，能够将MU的应用范围扩展到所有用户遗忘证据不对应（或难以直接表达为）遗忘集的设置中。我们在多个真实数据集和设置上，基于精确的遗忘任务（这是最可靠的任务）进行了广泛的实验，并采用了非平凡的基线方法。结果表明，我们提出的算法具有高性能，且明显优于基线方法。

Keyword:

Forget set

Machine Unlearning

Trustworthy AI

Model Editing

Red-Blue set cover

Artificial Intelligence

Neural Network

The forget-set identification problem

摘要

期刊

机构

引用论文