Continuous-time transformer with large language model for temporal knowledge graph forecasting

doi:10.1016/j.knosys.2025.114695

Continuous-time transformer with large language model for temporal knowledge graph forecasting

2025-10-24

0

PRE

AI

DOI：10.1016/j.knosys.2025.114695

原文链接

原文求助

摘要

En 中文

时序知识图谱（TKG）预测涉及预测未来事实或推断知识图谱中实体关系演变下的缺失信息。一种关键方法是TKG嵌入，旨在学习捕获时序和结构信息的嵌入。这些嵌入方法有效兼顾了结构和时序依赖关系，有助于准确预测未来事件和关系演变。然而，TKG预测存在若干挑战：（1）在连续时间域中保持动态特征的连续性，（2）处理TKG中时间表示的异构性，（3）实现结构特征与语义特征之间的协同。我们提出连续时间Transformer结合大语言模型（CTFormer-LLM）以应对这三大挑战。CTFormer-LLM模型在一个统一框架下有效解决这些挑战：（1）采用连续时间Transformer编码历史事件，以处理连续时间域中动态特征的连续性；（2）利用基于Transformer的方法学习时间嵌入，有效管理时间表示的异构性；（3）结合大语言模型（LLM）与全局结构特征，提升预测精度，解决结构特征与语义特征的协同问题。在基准数据集上的实验结果表明，CTFormer-LLM在性能方面优于其他模型。

Continuous-time transformer with large language model for temporal knowledge graph forecasting

摘要

期刊

机构

引用论文