Retrofitting temporal GNN training with decoder-only Transformers on large-scale graphs

doi:10.1016/j.eswa.2026.133466

Retrofitting temporal GNN training with decoder-only Transformers on large-scale graphs

2026-07-01

0

PRE

AI

DOI：10.1016/j.eswa.2026.133466

原文链接

原文求助

摘要

En 中文

时序图神经网络（TGNNs）通过整合时序信息来建模演化图中的结构动态。然而，联合建模演化拓扑和长期时序依赖仍具挑战性。此外，动态图操作（如时序邻居采样）会产生显著开销，迫使现有TGNN依赖定制化训练框架以实现可扩展性。我们提出TF-TGN，一种基于解码器Transformer的TGNN，将时序图学习重新表述为序列建模，能够高效、可扩展地训练，并实现对时序有序结构动态的强表达建模。首先，TF-TGN通过后缀填充将图子结构映射为时序节点序列，并引入时空融合编码，联合捕捉相对时序间隔和结构位置。其次，基于掩码自注意力，TF-TGN实现高效时序信息聚合。此外，TF-TGN整合了时序感知分布式训练系统，并行化时序CSR（T-CSR）构造、邻居采样和数据准备，同时集成优化注意力核（如FlashAttention）以提升大规模图上的效率与可扩展性。大量实验表明，TF-TGN在动态链路预测和节点分类上取得最佳结果，训练速度比最强基线快6.69倍，T-CSR构造快242.48倍，推理快10.55倍。

Keyword:

Temporal graph learning

Transformer-based models

Sequence modeling

Scalable graph learning

Retrofitting temporal GNN training with decoder-only Transformers on large-scale graphs

摘要

期刊

机构

引用论文