High Performance Singular Value Decomposition on GPU Architectures

doi:10.1145/3787861

High Performance Singular Value Decomposition on GPU Architectures

2026-03-01

0

PRE

AI

DOI：10.1145/3787861

原文求助

摘要

En 中文

随着GPU架构的进步，矩阵计算引擎（如NVIDIA张量核心）现能以与单精度（FP32）通用矩阵乘法（GEMMs）相同的高效性支持双精度（FP64）GEMMs。然而，这种增强的FP64能力的应用仍有限，主要限于涉及多个FP64 BLAS3操作的应用。奇异值分解（SVD）作为数值线性代数中的基本分解方法，具有广泛应用，能够显著受益于利用此硬件特性。本文针对FP32 SVD，提出了一种新颖算法——基于FP64精度特征值分解（EVD）的SVD，专门设计以利用最新的GPU架构特性。我们进行了理论分析，证明了该方案在新兴GPU架构上的可行性，并从精度和性能两个角度进行了评估。此外，针对FP64 SVD，我们引入了双分块带状约化技术与基于GPU的凸起追逐算法相结合，以进一步加速整体SVD过程。实验结果表明，对于FP32 SVD，我们的EVD基SVD实现达到了更高的数值精度，并在H100上实现了最高6.1倍、A100上最高5.0倍的性能提升，超越了当前最先进的cuSOLVER SVD求解器。在FP64 SVD情况下，我们的方法在H100和A100上分别实现了4.9倍和4.8倍的性能提升。这些结果凸显了我们的方法作为现代GPU平台上高效且精确的SVD解决方案的潜力。

Keyword:

Singular value decomposition

SVD

eigenvalue decomposition

EVD

bidiagonalization

two-stage

double-blocking

band reduction

bulge chasing

numerical linear algebra

High Performance Singular Value Decomposition on GPU Architectures

摘要

期刊

机构

引用论文