Efficient graph embedding at scale: optimizing CPU-GPU-SSD integration

doi:10.1007/s00778-026-00974-8

Efficient graph embedding at scale: optimizing CPU-GPU-SSD integration

2026-04-03

0

PRE

AI

DOI：10.1007/s00778-026-00974-8

原文链接

原文求助

摘要

En 中文

图嵌入将图节点映射到连续向量，是社区检测、推荐以及许多科学应用的基础。在十亿级规模下，现有的图嵌入系统面临权衡：要么依赖许多GPU上的大内存占用（可扩展性受限），要么反复从磁盘流式传输数据（导致严重的I/O开销和低GPU利用率）。在本文中，我们提出了Legend，一个轻量级异构图嵌入系统，该系统对CPU、GPU和NVMe SSD资源上的数据管理进行了系统性重新设计。Legend结合了三个实用思想：（1）一种预取友好的嵌入加载顺序，使GPU能够以低I/O放大效应直接从NVMe SSD高效预取所需嵌入；（2）针对嵌入训练访问模式优化的高吞吐量GPU-SSD直接访问驱动；（3）一种定制化的并行执行策略，以最大化GPU利用率。这些组件共同使Legend能够在不超额配置GPU内存或遭受I/O停滞的情况下存储和流式传输海量嵌入数据。在十亿级图上的广泛实验表明，Legend相比最先进系统将端到端工作负载加速高达4.8倍，并在使用仅为四分之一GPU的情况下，与最先进系统在最大工作负载上的性能相当。

Keyword:

Graph embedding

Heterogeneous hardware architecture

Data partition

GPU acceleration

Efficient graph embedding at scale: optimizing CPU-GPU-SSD integration

摘要

期刊

机构

引用论文