.png){kind=icon}
返回
NeutronTP: Load-Balanced Distributed Full-Graph GNN Training with Tensor Parallelism
.png){kind=icon}
PRE
AI
DOI：10.14778/3705829.3705837.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图神经网络（GNNs）已作为一种有前景的方向出现。训练依赖分布式计算能力的大规模图提出了新的挑战。现有的分布式GNN系统通过分割输入图并将其分配给多个工作节点来利用数据并行性。然而，由于图结构的非规则性，现有的分布式方法因工作负载不均和管理工作节点间顶点依赖的高开销而受到影响。在本文中，我们利用张量并行性进行分布式GNN训练。GNN张量并行性通过分割特征而非图结构来消除工作节点间的顶点依赖。不同工作节点被分配在具有相同维度大小的不同特征切片上进行训练任务，从而实现完全的负载均衡。我们通过两个关键功能实现高效GNN张量并行性。首先，我们采用广义解耦训练框架，将神经网络操作与图聚合操作解耦，显著减少因必须使用完整特征计算神经网络操作而导致的通信开销。其次，我们采用一种内存高效的任务调度策略，以支持超出单GPU内存的大型图训练，并通过重叠通信与计算进一步提升性能。通过整合上述技术，我们提出一个分布式GNN训练系统NeutronTP。我们在16节点Aliyun集群上的实验结果表明，NeutronTP相比包括DistDGL、NeutronStar和Sancus在内的最新GNN系统实现了1.29倍至8.72倍的速度提升。
Keyword:
NEURAL-NETWORKS
期刊
P
IF:
3.3
论文数:
563
被引数:
1.2W
机构
暂无机构信息
引用论文
A Comprehensive Survey on Distributed Training of Graph Neural Networks.png)
PROCEEDINGS OF THE IEEE
OAAI
PROCEEDINGS OF THE IEEEIF25.9
OAAI分享收藏分享收藏Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining第28届ACM SIGKDD知识发现与数据挖掘会议论文集
IF0
PREAI
分享收藏
分享收藏分享收藏
查看更多内容