.png){kind=icon}
返回
Multi-Level Knowledge Distillation with Positional Encoding Enhancement
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111458.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近年来，图神经网络（GNNs）在解决图相关任务方面取得了显著成功。知识蒸馏（KD）作为一种经典的模型压缩与加速技术，在图学习中正被越来越多地采用，能够将训练好的GNN模型的预测能力转移到轻量级、易于部署的多层感知器（MLP）模型中。然而，这种方法往往忽略了节点的位置特征，仅依赖训练好的GNN生成的标签，基于节点内容特征来训练MLP。此外，它严重依赖局部信息聚合，难以捕捉全局图结构，从而限制了节点分类任务的性能。为解决此问题，我们提出了具有位置编码增强的多级知识蒸馏（MLKD-PE）。我们的方法采用位置编码技术生成节点位置特征，并将其与节点内容特征结合，以增强MLP对节点位置的感知能力。此外，我们引入了一种多级KD技术，使学生的最终输出与教师模型的输出对齐，并通过整合教师模型的中间层输出来促进详细的知识传递。实验结果表明，与基线模型相比，我们的方法在多个数据集上显著提高了分类准确率，证实了其在节点分类任务中的优越性。
Keyword:
Graph neural networks
Multi-layer perceptrons
Graph knowledge distillation
Positional encoding
Efficient training and inference
期刊
IF:
7.6
论文数:
1.4W
被引数:
4.5W
机构
引用论文
Identifying the most informative features using a structurally interacting elastic net.png)
NEUROCOMPUTING
OAAI
NEUROCOMPUTINGIF6.5
OAAI分享收藏UniG-Encoder: A universal feature encoder for graph and hypergraph node classificationPATTERN RECOGNITIONOAAI
PATTERN RECOGNITIONIF7.6
OAAI分享收藏metapath2vecProceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data MiningIF0
PREAI
分享收藏Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks高效拓扑感知数据增强方法用于高阶图神经网络
OAAI
OAAI分享收藏Group link prediction in bipartite graphs with graph neural networks图神经网络在二分图中的群链接预测PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容