LLM-Powered KG Utility Evaluation Framework

doi:10.1109/tkde.2026.3718940

LLM-Powered KG Utility Evaluation Framework

2026-09-29

0

PRE

AI

Prof. LI Qing (Qing Li) *

DOI：10.1109/tkde.2026.3718940

原文链接

原文求助

摘要

En 中文

知识图谱（KGs）在支持知识密集型任务方面显示出巨大潜力，凸显了对能够准确识别高实用性知识图谱的评价方法的需求。现有的知识图谱实用性评价方法受限于依赖人工设计的任务、缺乏结构层面的评价以及依赖知识图谱对齐训练。这些局限性降低了评价准确性，并要求完全访问知识图谱数据。为克服这些不足，我们提出了一种新颖的大语言模型（LLM）驱动的知识图谱实用性评价框架。我们的框架将知识图谱实用性评价定义为人类似的知识评估，通过将每个知识图谱与对应的大语言模型集成，以促进交互式问答。这种设计消除了对人工设计任务的依赖，支持灵活的结构评价，并避免了跨知识图谱表示对齐。具体而言，该框架首先将每个知识图谱分割为语义连贯的知识概念，并在其中采样代表性子图以生成问题。然后，它利用对端知识图谱通过大语言模型引导的知识检索来回答这些问题，最后使用校准评分估计知识图谱实用性。为验证我们的贡献，我们开发了一个包含四个跨领域知识图谱对的知识图谱实用性基准。广泛的实验表明，我们的框架在准确性上优于17种基线方法，并显著减少了三元组采样，凸显了其在知识图谱实用性评价中的鲁棒性和实用性。

Keyword:

Modeling

Large language models

Cognition

Cognitive systems

Conferences

Knowledge graphs

Modules (abstract algebra)

Accuracy

Measurement

Generative Pre-trained transformer

Data utility

knowledge graph

knowledge utility evaluation

large language models

LLM-Powered KG Utility Evaluation Framework

摘要

期刊

机构

引用论文