Efficient Distributed Mini-Batch GNN Training With Decentralized Batch Processing

doi:10.1109/tkde.2026.3721629

Efficient Distributed Mini-Batch GNN Training With Decentralized Batch Processing

2026-08-07

0

PRE

AI

DOI：10.1109/tkde.2026.3721629

原文链接

原文求助

摘要

En 中文

分布式小批量图神经网络（GNN）训练是学习大规模图的关键技术。现有训练方法通常依赖于集中式批处理流水线，由单个工作节点管理整个批的生命周期。因此，通信量与计算图大小成线性关系，而计算图大小随GNN层数呈指数增长，导致通信成本过高。在本文中，我们提出了DEGNN，一种高效的分布式GNN训练框架，采用“将计算推送到数据”策略。通过将邻居准备工作量分配给存储图数据的工作节点，我们在DEGNN中设计了一个去中心化批处理流水线，将通信量与计算图大小解耦。为有效实现该流水线，我们提出了LAMP，一种基于局部感知的多层邻居准备策略。具体而言，LAMP通过局部感知的计算图（CG）生成策略构建聚合骨架，随后执行多层聚合以捕获多跳邻域信息，而无需跨节点通信，利用量化历史嵌入满足GNN层的递归依赖。为进一步提升端到端效率，我们引入了两级计算图融合机制和异步流水线，以最小化计算开销并隐藏通信延迟。实验结果表明，DEGNN优于现有分布式训练系统，在保持模型精度的同时最高可提升6.05倍速度。

Keyword:

Graph neural networks

distributed training

decentralized batch processing

Efficient Distributed Mini-Batch GNN Training With Decentralized Batch Processing

摘要

期刊

机构

引用论文