Structure-Aware Transformer for hyper-relational knowledge graph completion

Junjie Wang

doi:10.1016/j.eswa.2025.126992

2025-06-01

PRE

Junjie Wang

Huajun Chen

Wen Zhang *

DOI：10.1016/j.eswa.2025.126992

原文链接

原文求助

摘要

En 中文

超关系知识图谱（HKG）在近期研究中逐渐受到关注。与标准知识图谱（KG）不同，后者通过大量三元组（主体、关系、客体）表示现实世界实体间的连接，而HKG能够在一个事实中描述复杂事件，表现为一个主三元组及若干辅助键值对。近期，逐渐有研究尝试利用Transformer框架进行HKG的表示学习。尽管这些方法取得了中等程度的性能，但未能有效利用HKG中的结构信息（即连接性和方向性），而这对于HKG的表示学习至关重要。为解决上述问题，我们提出了一种新颖的基于Transformer且具备结构感知的HKG表示学习方法。具体而言，我们首先提出一种子图采样策略，以合理利用HKG中中心事实与子图间的连接信息。其次，我们考虑原始HKG中的异构特性以及键值对间的绑定属性，分别引入异构注意力偏置和键值联合注意力机制。此外，我们在Transformer层间传播过程中引入方向信息。更为重要的是，尽管我们的模型最初设计用于HKG，但可被视为通用框架，能够推广至其他类型的KG，例如基于三元组的KG和时序KG。我们在链接预测任务（即知识图谱补全，KGC）上评估了该模型。实验结果表明，相较于现有方法，我们的模型在HKG数据集上优于基线模型。同时，即便未针对其进行专门设计，我们的模型在基于三元组的KG和时序KG上仍取得了超越或持平基线的结果，证明了该方法卓越的泛化能力。代码已开源，地址为https://github.com/zjukg/HyperSAT。

Keyword:

Knowledge graph

Transformer

Link prediction

Graph structure