Efficient Distributed Graph Neural Network Training With Source Chunking and Moving Aggregation

doi:10.1109/TKDE.2025.3613787

Efficient Distributed Graph Neural Network Training With Source Chunking and Moving Aggregation

2025-09-24

0

PRE

AI

Chun Chen (Chun Chen)

DOI：10.1109/TKDE.2025.3613787

原文链接

原文求助

摘要

En 中文

图神经网络（GNNs）是分析图结构数据的有效模型，但在大型分布式图上进行训练时面临挑战。现有的GNN训练框架采用采样并行化和历史嵌入方法来支持分布式训练并提高效率。然而，这些方法存在历史嵌入过时、通信消息不平衡以及冗余存储和计算成本等问题。在本文中，我们提出了Emma，一种分布式GNN训练框架，该框架结合了以源节点为中心的分块技术，用于频繁更新嵌入和平衡通信，以及一种移动消息聚合技术，以提高训练效率并降低存储成本。实验结果表明，Emma通过减少计算和通信开销，显著提升了训练效率，在保持收敛精度的同时，相较于当前最先进的分布式GNN训练方法实现了显著加速。

Keyword:

Graph neural networks (GNNs)

distributed GNN training

graph message aggregation

historical embedding

Efficient Distributed Graph Neural Network Training With Source Chunking and Moving Aggregation

摘要

期刊

机构

引用论文