.png){kind=icon}
返回
Quantifying Performance Variability in GPU Clusters
.png){kind=icon}
PRE
AI
DOI：10.1109/TPDS.2026.3684387.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现代超级计算机配备大量图形处理器单元（GPU）以满足科学计算和机器学习不断增长的需求。然而，即使是同型号GPU，也表现出性能变异性，导致资源利用率低下和执行时间延长。本研究对NVIDIA A100 GPU和GH200超级芯片的性能变异性进行了表征研究，使用GEMM和STREAM微基准测试以及七个实际应用，在两个超级计算机系统（TACC Vista（GH200）和NERSC Perlmutter（A100））上进行。结果表明，GEMM性能变异性范围为0.1%至8.8%，但异常值可能导致偏差显著更高。对于科学应用，Vista上的变异性范围为1.0%至12.2%。单GPU GPT 4.8B和Llama 3B训练的变异性分别为10.4%和8.9%。我们进一步扩展了这项研究，使用3D并行配置中的8个GH200训练GPT 19B模型，观察到最高3.6%的吞吐量变异性，最坏情况下延迟8.5%。通过比较不同GPU类型、计算路径、数据精度和应用的变异性，我们发现使用张量核心和CUDA核心上FP64的应用比其他应用表现出更高的变异性。超级计算机用户可以利用观察到的变异性诊断性能问题并提高执行效率。计算中心可以设计变异性感知调度方法，在不牺牲单个应用性能的情况下实现更高的机器利用率。
Keyword:
High performance computing
performance evaluation
time measurement
AI accelerators
期刊
IF:
6
论文数:
5.2K
被引数:
1.3W
机构
引用论文
VarCatcher: A Framework for Tackling Performance Variability of Parallel Workloads on Multi-Core
.png){kind=icon}
PREAI
分享收藏
分享收藏A Hybridization Methodology for High-Performance Linear Algebra Software for GPUs一种面向GPU的高性能线性代数软件的混合化方法学
PREAI
分享收藏
查看更多内容