.png){kind=icon}
返回
Rethinking machine unlearning for large language models
.png){kind=icon}
PRE
AI
DOI：10.1038/s42256-025-00985-0.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们探索大型语言模型（LLMs）领域的机器遗忘，即LLM遗忘。这一举措旨在消除不良数据影响（例如敏感或非法信息）及其相关的模型能力，同时保持必要知识生成的完整性，且不影响因果无关信息。我们设想LLM遗忘将成为LLM生命周期管理的关键要素，可能成为开发不仅安全、可靠、值得信赖，而且资源高效、无需完全重新训练的生成式人工智能的基础。我们从概念表述、方法学、指标和应用等方面探讨了LLM中的遗忘领域。特别是，我们强调了现有LLM遗忘研究常被忽视的方面，例如遗忘范围、数据-模型交互以及多维度有效性评估。我们还探讨了LLM遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域的联系。此外，我们概述了一个有效的LLM遗忘评估框架，并探讨了其在版权和隐私保护以及社会技术危害减少方面的应用。
期刊
IF:
23.9
论文数:
1.3K
被引数:
1.5W
机构
引用论文
SOUL: Unlocking the Power of Second-Order Optimization for LLM UnlearningSOUL：解锁二阶优化在大型语言模型遗忘中的作用
.png){kind=icon}
PREAI
分享收藏
Boundary Unlearning: Rapid Forgetting of Deep Networks via Shifting the Decision Boundary边界遗忘: 通过转移决策边界快速遗忘深度网络
PREAI
分享收藏DEPN: Detecting and Editing Privacy Neurons in Pretrained Language ModelsDEPN：检测和编辑预训练语言模型中的隐私神经元
OAAI
OAAI分享收藏An Introduction to Bilevel Optimization: Foundations and applications in signal processing and machine learning二级优化简介: 信号处理和机器学习的基础和应用OAAI
OAAI分享收藏
查看更多内容