.png){kind=icon}
返回
Practical Continual Forgetting for Pre-Trained Vision Models
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2026.3654115.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
出于隐私和安全的考虑，从预训练视觉模型中擦除不需要的信息的需求如今已变得日益明显。在现实场景中，擦除请求由用户和模型所有者随时发起，并且这些请求通常形成序列。因此，在此类设置下，期望能够持续地从预训练模型中擦除选择性信息，同时保留其余部分。我们将此问题定义为持续遗忘，并识别出三个关键挑战。 (i) 对于不需要的知识，高效的删除至关重要。(ii) 对于保留的知识，遗忘过程带来的影响应尽可能小。(iii) 在现实场景中，训练样本在遗忘过程中可能稀缺或部分缺失。为解决这些问题，我们首先提出**G**roup **S**parse **LoRA**（GS-LoRA）。具体而言，针对 (i)，我们引入低秩适配（Low-Rank Adaptation, LoRA）模块，独立地为每个遗忘任务微调Transformer块中的前馈神经网络（Feed-Forward Network, FFN）层；针对 (ii)，采用简单的组稀疏正则化，实现自动选择特定LoRA组并归零其他组。为进一步将GS-LoRA扩展到更实际的场景，我们纳入**prototype**信息作为额外监督，并引入更实用的方法，即**GS-LoRA++**。对于每个遗忘的类别，我们将logits从其原始**prototype**移开；对于保留的类别，我们将logits拉近到各自的**prototype**。我们在人脸识别、目标检测和图像分类上进行了大量实验，证明我们的方法能够在对其他类别影响最小的情况下实现对特定类别的遗忘。
Keyword:
Continual learning
continual forgetting
machine unlearning
model editing
期刊
IF:
18.6
论文数:
864
被引数:
9.8W
机构
引用论文
.png){kind=icon}
分享收藏
分享收藏Learning Generative Visual Models from Few Training Examples: An Incremental Bayesian Approach Tested on 101 Object Categories从少数训练示例中学习生成的视觉模型: 在101对象类别上测试的增量贝叶斯方法
PREAI
分享收藏
查看更多内容