Accelerating Convolutional Neural Network by Exploiting Sparsity on GPUs

doi:10.1145/3600092

Accelerating Convolutional Neural Network by Exploiting Sparsity on GPUs

2023-07-19

0

OA

AI

DOI：10.1145/3600092

原文链接

原文求助

摘要

En 中文

卷积神经网络（CNN）是一种重要的深度学习方法，在许多领域得到广泛应用。然而，实现CNN非常耗时，其中卷积操作通常占据大部分时间。特征图和滤波器中存在大量零值，若采用密集方法计算卷积，会导致冗余计算和内存访问。近期许多研究利用稀疏性跳过零值的计算，以减少CNN的推理时间。在图形处理器（GPU）平台上，现有方法无法充分利用特征图的稀疏性，难以获得满意性能。因此，我们设计了一种新的并行策略，将特征图转换为新的存储格式，以避免在图形处理器上对零值进行冗余计算。同时考虑到特征图中的稀疏性，我们提出了一种融合存储格式，将卷积操作与后续池化操作相结合，以进一步提升性能。我们在主流CNN模型上进行了实验，与cuDNN和cuSPARSE相比实现了更好的性能。对于VGG-19、ResNet-50、DenseNet-121和RegNetX-16GF，相对于cuDNN分别实现了1.97×、2.23×、2.74×和1.58×的加速比。仅使用第一种方法时，相对于cuSPARSE的加速比分别为2.10×、1.83×、2.35×和1.35×。

Accelerating Convolutional Neural Network by Exploiting Sparsity on GPUs

摘要

期刊

机构

引用论文