.png){kind=icon}
返回
Learning Efficient Linear Graph Transformer via Graph-attention Distillation
.png){kind=icon}
PRE
AI
DOI：10.1007/s11633-025-1541-9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近年来，图Transformer已被证明是适用于各种基于图的学习任务的有效学习架构。然而，与图卷积网络（GCN）模型相比，图Transformer由于其二次计算复杂度，在大型数据上的可扩展性通常受到限制。为解决此问题，本研究提出通过采用图注意力蒸馏模型来学习高效的线性图Transformer。所提出的方法为图数据学习任务提供了一种更快、更轻量的图Transformer框架。所提出的蒸馏模型的核心在于采用核分解方法来重建图Transformer架构，从而将二次复杂度降低至线性复杂度。此外，为无缝地将教师分支中常规图Transformer的丰富学习能力转移到其线性学生分支，我们设计了一种新颖的图注意力知识蒸馏策略以增强学生网络的能力。在六个常用基准数据集上进行的实证评估验证了本模型的优势，其在有效性和效率方面均持续优于现有方法。
Keyword:
Graph neural network
graph transformer
knowledge distillation
node classification
graph representation learning
期刊
IF:
8.7
论文数:
304
被引数:
882
机构
引用论文
.png){kind=icon}
Relevance-Aware Anomalous Users Detection in Social Network via Graph Neural Network基于图神经网络的社交网络中相关性感知异常用户检测
OAAI
OAAI分享收藏分享收藏
查看更多内容