.png){kind=icon}
返回
ARGO+: Achieving Multi-Level Scalable GNN Training on Distributed Multi-Core Platform
.png){kind=icon}
PRE
AI
DOI：10.1109/tpds.2026.3698481.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图神经网络（GNNs）已作为从图结构数据中学习的强大工具出现，并被广泛应用于交通预测、电子设计自动化等众多领域。然而，在包含数亿节点和数十亿边的超大规模图上训练GNNs耗时较长，通常需要单机运行数天或数周。尽管已有研究探索了跨多机的分布式GNN训练以利用更大的计算和内存资源，但现有方法主要关注跨机器的可扩展性，而忽略了跨多核的节点内可扩展性。因此，当前最先进的分布式GNN训练框架在训练周期时间方面存在严重的资源利用率低下和性能受限问题。本文提出ARGO+，一种新型GNN系统，旨在通过高效实现跨机器间和机器内的多级可扩展性，实现分布式GNN训练。ARGO+采用两级图划分策略，利用图拓扑和特征维度上的并行性，同时最小化通信开销并确保负载均衡。此外，ARGO+整合了NUMA感知优化以增强节点内可扩展性，解决了跨远程插槽数据访问的效率问题。运行时，ARGO+采用两阶段并行训练方案进一步降低通信开销，并通过实例化多个训练进程实现计算-通信重叠。我们在由8台双插槽80核Intel Xeon处理器的多核CPU集群组成的分布式系统中评估了ARGO+。结果表明，ARGO+相比DistDGL实现最高1.89倍加速，相比当前最先进的分布式GNN训练系统实现1.53-1.56倍加速。此外，ARGO+兼容广泛使用的GNN框架Deep Graph Library（DGL），能够与现有GNN程序无缝集成。最后，虽然ARGO+采用多种优化来提升可扩展性和训练性能，但这些优化并未改变训练算法的语义，因此模型精度和收敛性与算法原始实现保持一致。
Keyword:
Graph neural network
distributed training
multi-core CPU
期刊
IF:
6
论文数:
5.2K
被引数:
1.1W
机构
引用论文
Explainable uncertainty quantifications for deep learning-based molecular property prediction基于深度学习的分子特性预测的可解释不确定性量化
OAAI
.png){kind=icon}
OAAI分享收藏分享收藏
查看更多内容