.png){kind=icon}
返回
Activation Trained Layer Based Controls Continual Knowledge Editing Approach
.png){kind=icon}
PRE
AI
DOI：10.1007/s10994-026-07100-3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
当基于模型的人工智能代理处理现实世界任务时，需要持续更新知识以适应不断演变的世知识和动态用户需求。为解决此挑战，模型编辑方法通过更新大语言模型（LLMs）的特定权重而不重新训练；然而，随着编辑累积，直接权重更新仍会导致灾难性遗忘。为应对此问题，基于检索的编辑方法通过编辑副本并避免直接修改原始参数，并在推理时检索和激活相应副本。然而，它们仅限于单层更新，且存在编辑与检索激活之间的协调问题。为解决这些问题，我们提出了基于激活控制层的持续知识编辑（ACKE）方法。首先，我们设计了一个跨FFN层的多层数据副本框架，共享编辑以减轻单层过载并减少参数合并频率。其次，我们引入一个独立的激活控制层，结合逆相似性机制将激活与编辑解耦，实现对编辑知识和无关知识更敏感的区分，从而提升检索的鲁棒性。ACKE在ZsRE序列编辑任务上达到92.8%的平均准确率，在SelfCheckGPT上实现1.88的困惑度得分。相较于现有方法，其展现出更强的大规模持续编辑能力，为LLMs更稳健的长期知识更新提供了基础。代码地址：https://github.com/soraue/ACKE
Keyword:
Large language models
Model editing
Continual editing
Retrieval activation
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
AlpacaFarm: A Simulation Framework for Methods that Learn from Human FeedbackAlpacafarm：一种从人类反馈中学习的方法的模拟框架
.png){kind=icon}
PREAI
分享收藏
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models记忆与过拟合：分析大型语言模型的训练动态
PREAI
分享收藏Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models定位是否影响编辑？基于因果关系的定位与语言模型中的知识编辑之间的惊人差异
PREAI
分享收藏WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language ModelsWise：重新思考知识记忆以实现大型语言模型的终身模型编辑
PREAI
分享收藏 没有更多内容
没有更多内容