.png){kind=icon}
返回
DP2Unlearning: An efficient and guaranteed unlearning framework for LLMs
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2025.107879.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型（LLMs）最近革新了语言处理任务，但也带来了伦理和法律问题。LLMs具有记忆训练数据中潜在私有或版权信息的倾向，这些信息随后可能在推理时被传递给终端用户。当这种情况发生时，一个简单的解决方案是在排除不需要的数据后从头重新训练模型。尽管这能确保目标数据已被遗忘，但对于LLMs来说，其成本也高得难以承受。近似遗忘提供了一种更高效的替代方案，因为它涉及对已训练模型本身进行事后修改以防止不良结果，但由于仅依赖实证证据，因此缺乏遗忘保证。在本工作中，我们提出了DP2Unlearning，一种新颖的LLM遗忘框架，它提供了正式的遗忘保证，其成本显著低于在需保留的数据上从头重新训练。DP2Unlearning涉及在通过ϵ-差分隐私（DP）保护的文本数据上训练LLMs，这后来能够实现具有与所选ϵ相关联的披露保证的高效遗忘。我们的实验表明，DP2Unlearning在遗忘后的模型性能与在保留数据上从头重新训练的LLM（精确遗忘的金标准）相当，但遗忘成本大约是其一半。此外，在合理的计算成本下，它在保留遗忘后模型的效用和有效遗忘目标信息方面均优于近似遗忘方法。
Keyword:
LLM unlearning
Exact unlearning
Approximate unlearning
Differential privacy
Privacy-preserving LLM
期刊
IF:
6.3
论文数:
7.8K
被引数:
3.0W
机构
暂无机构信息
引用论文
On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready to Obtain a University Degree?.png)
Proceedings of the 2023 Conference on Innovation and Technology in Computer Science Education V. 1
OAAI
Proceedings of the 2023 Conference on Innovation and Technology in Computer Science Education V. 1IF0
OAAI分享收藏To Forget or Not? Towards Practical Knowledge Unlearning for Large Language ModelsTian, B., Liang, X., Cheng, S., Liu, Q., Wang, M., Sui, D., Chen, X., Chen, H., & Zhang, N. (2024). 忘记还是不忘记？面向大语言模型的实用知识遗忘方法. 在计算语言学协会的发现：EMNLP 2024（第1524-1537页）. 美国佛罗里达州迈阿密：计算语言学协会.
PREAI
分享收藏
Dutch Publishing Industry Seeks Startups Through the Renew the Book Competition荷兰出版行业通过“重焕图书”竞赛寻求初创企业
PREAI
分享收藏
查看更多内容