GEM-Distill: Graph Ensemble Multi-Level Distillation for MLP-Based Graph Classification

Minghao Qin

doi:10.1109/tkde.2026.3722236

GEM-Distill: Graph Ensemble Multi-Level Distillation for MLP-Based Graph Classification

2026-08-10

0

PRE

AI

DOI：10.1109/tkde.2026.3722236

原文链接

原文求助

摘要

En 中文

图神经网络（GNNs）在图学习任务中表现出色，但其消息传递计算阻碍了在资源受限环境中的部署。GNN-to-MLP（G2M）知识蒸馏通过将GNN知识转移到轻量级MLP学生模型来提升推理效率；然而，现有方法主要针对节点分类，在图分类任务中泛化效果较差，因为监督信息稀疏、教师模型的全局语义难以传递，且MLP学生模型的结构表达能力有限。本文提出GEM-Distill，一种基于MLP的图分类多粒度蒸馏框架。GEM-Distill为不同粒度的MLP专家分配图级、子图级和节点级目标，并通过顺序粗到细的训练策略协调它们，缓解跨粒度优化冲突同时保留互补的结构监督。此外，引入虚拟邻居引导的图蒸馏（VNGD），一种仅用于训练的图级蒸馏模块，通过混合语义相关的训练图来丰富全局监督。在标准及大规模图分类基准上的实验表明，GEM-Distill在保持高效MLP风格推理的同时，性能优于现有的G2M基线。对鲁棒性、参数对齐比较、效率及教师模型结构的额外分析进一步验证了该框架的有效性和实用性。

Keyword:

Graph neural networks

knowledge distillation

graph classification

GNN-to-MLP knowledge distillation

GEM-Distill: Graph Ensemble Multi-Level Distillation for MLP-Based Graph Classification

摘要

期刊

机构

引用论文