GATe: Efficient Graph Attention Network Acceleration With Near-Memory Processing

Shiyan Yi

doi:10.1109/TC.2025.3588317

GATe: Efficient Graph Attention Network Acceleration With Near-Memory Processing

0

PRE

AI

DOI：10.1109/TC.2025.3588317

原文链接

原文求助

摘要

En 中文

图神经网络（GAT）因其处理非欧几里得图方面的卓越性能而得到广泛应用。GAT模型的关键组件涉及聚合和注意力机制，这些操作导致大量主存访问，占用了显著的推理时间。近期，许多研究提出了近存计算（NMP）架构以加速聚合操作。然而，图注意力需要与聚合不同的额外计算，这使得以往的NMP架构不太适合支持GAT，因为它们通常针对仅聚合的工作负载。在本文中，我们提出了GATe，一种实用高效的GAT加速器，采用NMP架构。据我们所知，这是首次在DIMM上同时加速注意力和聚合计算。我们统一了特征向量访问，以消除由注意力和聚合的顺序分阶段执行导致的两次重复内存访问源节点。接下来，我们优化了计算流程，以减少连接和Softmax操作中的数据依赖，从而降低片上内存使用和通信开销。此外，我们引入了一种新颖的分片方法，增强了高度节点的数据重用性。实验表明，与当前最先进的NMP工作GNNear和GraNDe相比，GATe在GAT的注意力和聚合阶段分别实现了最高6.77倍和2.46倍的显著加速，平均加速分别为3.69倍和2.24倍。

Keyword:

Graph attention network

near memory processing

DRAM

GATe: Efficient Graph Attention Network Acceleration With Near-Memory Processing

摘要

期刊

机构

引用论文