.png){kind=icon}
返回
swPredictor: A data-driven performance model for distributed data parallelism training on large-scale HPC clusters
.png){kind=icon}
PRE
AI
DOI：10.1016/j.peva.2025.102530.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
鉴于异构架构和多节点协作的复杂性，大规模HPC（高性能计算）集群在分布式数据并行（DDP）训练的资源利用和性能优化方面面临挑战。性能建模旨在识别应用瓶颈并指导算法设计，但现有性能模型很少考虑系统架构对通信性能的影响，或提供分布式训练的系统化分析。为解决这些问题，本文提出swPredictor，一种面向DDP训练性能精确预测的数据驱动性能模型。首先，基于运行时各种通信模式开发原始性能数据集，以避免系统误差。随后，提出一种新型多分支模块FNO-Inception，结合FNO（傅里叶神经网络算子）层与Inception结构，以同时利用多种频率特征。最后，通过引入FNO-Inception模块，构建新型回归模型FI-Net，以拟合复杂非线性关系。实验结果表明，FI-Net能够准确预测Sunway OceanLight超级计算机上DDP训练的性能，总体MAPE为0.93%，优于其他基准模型。
Keyword:
High-performance computing
Performance modeling
Deep learning
Distributed training
期刊
P
IF:
0.8
论文数:
38
被引数:
851
机构
引用论文
分享收藏分享收藏Nyquist-Shannon sampling theorem applied to refinements of the atomic pair distribution function.png)
PHYSICAL REVIEW B
OAAI
PHYSICAL REVIEW BIF3.7
OAAI分享收藏A Stochastic Model to Investigate Data Center Performance and QoS in IaaS Cloud Computing Systems
PREAI
分享收藏Automatic Multi-Parameter Performance Modeling of HPC Applications on a New Sunway Supercomputer新型Sunway超级计算机上HPC应用的自动多参数性能建模
PREAI
分享收藏
查看更多内容