Benchmarking Knowledge Editing Using Logical Rules

Tatiana Moteu Ngoli

doi:10.1007/978-3-032-09530-5_3

2026-01-01

PRE

Tatiana Moteu Ngoli *

N’Dah Jean Kouagou

Hamada M. Zahera

Axel-Cyrille Ngonga Ngomo

DOI：10.1007/978-3-032-09530-5_3

原文链接

原文求助

摘要

En 中文

大型语言模型（LLMs）越来越多地部署在需要访问最新知识的应用中。然而，重新训练LLMs计算成本高昂。因此，知识编辑技术对于维护预训练模型中的当前信息和纠正错误断言至关重要。当前的知识编辑基准主要关注编辑事实的回忆，常常忽略其逻辑后果。为解决此局限性，我们引入了一个新基准，用于评估知识编辑方法如何处理单一事实编辑的逻辑后果。我们的基准从知识图中提取与给定编辑相关的逻辑规则，然后基于这些规则生成多跳问题以评估对逻辑后果的影响。我们的发现表明，虽然现有知识编辑方法能够准确地将直接断言插入LLMs，但它们经常无法注入隐含知识。具体而言，ROME和FT等流行方法的实验揭示，在直接编辑知识和隐含知识的评估之间存在高达24%的显著性能差距。这凸显了在知识编辑中引入语义感知评估框架的迫切需求。

Keyword:

Large Language Model

Knowledge Editing

Question Answering

Knowledge Graph

Logical Rules