.png){kind=icon}
返回
NeutronCloud: Resource-Aware Distributed GNN Training in Fluctuating Cloud Environments
.png){kind=icon}
PRE
AI
DOI：10.14778/3772181.3772186.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图神经网络（GNNs）被广泛用于从图结构数据中学习表示。为支持大规模图训练，研究人员使用分布式技术，将图分区到多个计算节点，并通过跨节点通信交换依赖顶点信息以进行并行训练。然而，现有GNN训练系统基于静态分区子图运行，难以适应资源波动。实践中，云环境中的资源波动常导致计算和通信资源变化，给GNN训练期间将各工作节点的负载与其可用资源对齐带来挑战。本文提出NeutronCloud系统，用于云环境中的高效GNN训练。首先，我们采用一种资源感知的工作负载调整策略。该策略基于混合依赖处理，通过本地计算和远程通信获取依赖信息，并在训练期间根据各工作节点的可用资源动态调整本地计算与远程获取依赖的比例，确保负载-资源对齐。其次，我们采用一种依赖感知的局部归约方法，通过复用历史顶点嵌入并在梯度聚合时跳过滞后节点，以应对极端资源波动导致部分工作节点严重落后的情况。在资源波动环境下的实验结果表明，与现有最先进的分布式GNN系统相比，NeutronCloud实现了1.83倍至4.43倍的速度提升。
Keyword:
GNN training
distributed systems
cloud environments
workload adjustment
dependency handling
期刊
P
IF:
3.3
论文数:
563
被引数:
1.2W
机构
引用论文
Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining第28届ACM SIGKDD知识发现与数据挖掘会议论文集.png)
IF0
PREAI
分享收藏分享收藏分享收藏
分享收藏 没有更多内容
没有更多内容