.png){kind=icon}
返回
Based on Tensor Core Sparse Kernels Accelerating Deep Neural Networks
.png){kind=icon}
PRE
AI
DOI：10.1109/TPDS.2025.3637268.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度学习中的大型语言模型具有大量参数，需要巨大的存储空间和计算资源。压缩技术是解决这些挑战的高效方法。随着Graphics Processing Unit（GPU）等硬件的发展，Tensor Core可以加速低精度矩阵乘法，但对稀疏矩阵的加速较为困难。由于稀疏性，Tensor Core的利用率相对较低。为解决此问题，我们提出了基于Tensor Core Compressed Sparse Row格式（TC-CSR）的方法，该方法便于GPU上的数据加载和Tensor Core上的矩阵运算。基于此格式，我们设计了块稀疏矩阵-矩阵乘法（SpMM）和采样密集矩阵-密集矩阵乘法（SDDMM）内核，这些是深度学习中常见的操作。利用这些设计，我们在Sputnik中实现了中等稀疏度场景下的1.41倍加速，并在大规模高稀疏矩阵下实现了1.38倍加速。得益于我们的设计，我们在端到端稀疏Transformer推理中实现了1.75倍加速，并节省了内存。
Keyword:
Deep learning
GPU
tensor core
sparse matrices
acceleration strategy
期刊
IF:
6
论文数:
5.2K
被引数:
1.1W
机构
引用论文
.png){kind=icon}
分享收藏Efficient tensor core-based GPU kernels for structured sparsity under reduced precision基于张量核心的高效GPU核函数：在结构化稀疏性下的低精度实现
OAAI
OAAI分享收藏SparseTIR: Composable Abstractions for Sparse Compilation in Deep LearningSparseTIR: 用于深度学习中稀疏编译的可组合抽象OAAI
OAAI分享收藏Model Compression and Acceleration for Deep Neural Networks The principles, progress, and challenges
PREAI
分享收藏
查看更多内容