Exact and Efficient Unlearning for Large Language Model-Based Recommendation

Zhiyu Hu

doi:10.1109/TKDE.2025.3594687

Exact and Efficient Unlearning for Large Language Model-Based Recommendation

0

PRE

AI

Xiangnan He (Xiangnan He)

DOI：10.1109/TKDE.2025.3594687

原文链接

摘要

En 中文

近年来，增强推荐系统（Recommender Systems）与大型语言模型（Large Language Models, LLMs）的趋势日益明显，即LMMRec。一种常见的方法是使用从用户行为转换而来的指令数据对LLMs进行微调，以激发LLMs的推荐能力。与传统的推荐系统类似，将用户数据整合到LLMs中引发了隐私担忧。用户希望有一种工具能够消除其敏感数据对训练模型的影响。为满足这一用户需求，LLMRec遗忘机制（unlearning）成为关键，它能够使已建立的LLMRec模型移除无用数据（例如历史行为）。然而，现有方法大多关注分区策略和近似遗忘，这些方法由于计算成本或移除不完全，并不完全适用于LLMRec的独特特性。本研究提出了一种适配器分区与聚合（Adapter Partition and Aggregation, APA）框架，旨在实现精确且高效的LLMRec遗忘，同时保持推荐性能。APA通过数据分区重新训练PEFT适配器，为分区后的训练数据分片构建适配器，并仅重新训练受影响的适配器。为保持推荐性能并避免显著的推理成本，APA引入了平衡且异构的数据分区，以及基于样本自适应适配器注意力的参数级适配器聚合，针对每个测试样本进行优化。大量实验证明了我们方法的有效性和高效性。

Keyword:

Large language models (LLMs)

recommender system

machine unlearning

recommendation unlearning

Exact and Efficient Unlearning for Large Language Model-Based Recommendation

摘要

期刊

机构

引用论文