.png){kind=icon}
返回
Are LLMs Really Knowledgeable for Knowledge Graph Completion?
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-09530-5_5.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
知识图谱（KG）补全旨在从现有知识中推断新的事实。尽管近期的研究已探索利用大型语言模型（LLMs）来完成此任务，但尚不清楚LLMs是否真正理解KG事实，以及它们如何利用这些知识进行推理。在本研究中，我们通过提出ProbeKGC基准数据集来探讨这些问题，该数据集将KG补全重新表述为具有系统控制选项难度的选择题回答任务。实验结果表明，当同一问题在不同干扰项难度下呈现时，LLMs往往会产生不一致的答案，这表明它们依赖浅层推理（如排除法）而非真正的知识回忆。为更好地量化模型置信度和知识掌握程度，我们引入了归一化知识分歧（NKD）这一新指标，该指标通过捕捉答案选择中的分布置信度来补充准确率。我们进一步分析了选择偏差对LLMs预测的影响，并指出LLMs并不总是充分挖掘其存储的知识。最后，我们评估了三种增强策略，并提供了改进KG补全的潜在方向。
Keyword:
Knowledge graph completion
Large language model
Knowledge probing
期刊
S
IF:
0
论文数:
24
被引数:
0
机构
引用论文
.png){kind=icon}
查看更多内容