.png){kind=icon}
返回
A High-Level API for End-to-End Data Compression in Multi-GPU Cluster Applications
.png){kind=icon}
OA
AI
DOI：10.1007/s10766-026-00818-6.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
高性能计算（HPC）系统的日益复杂性，特别是采用多GPU集群架构的系统，给开发者带来了显著挑战。低层、供应商特定的应用程序编程接口（API）通常需要深厚的专业知识，增加了维护难度并降低了性能可移植性。当大规模数据或带宽需求需要数据压缩时，这种复杂性会进一步加剧。将此类端到端压缩集成到处理分布式内存多GPU集群的现有代码库中，通常既费时又容易出错，尤其是在需要灵活选择压缩算法和实现的情况下。在本工作中，我们提出了一种集成到Celerity运行时系统的高层、用户友好的端到端数据压缩API，该系统基于SYCL编程模型。通过抽象集成各种压缩算法的复杂性，我们旨在提高数据传输和存储效率，而不会大幅增加开发复杂度。我们的API支持多种压缩类型和内存布局，使开发者能够在不对其现有代码库进行大量修改的情况下利用压缩。我们通过多种基准测试评估了该API及其原型实现，展示了其在减少存储和带宽需求方面的有效性，同时保持了高性能。
Keyword:
Compression
GPU compute
API
Clusters
Celerity
SYCL
HPC
期刊
I
IF:
0.9
论文数:
19
被引数:
476
机构
引用论文
.png){kind=icon}
Celerity-RSim: Porting Light Propagation Simulation to Accelerator Clusters Using a High-Level API
PREAI
分享收藏CUDA Kernel Based Collective Reduction Operations on Large-scale GPU Clusters基于CUDA Kernel的集合规约操作在大规模GPU集群上的应用
PREAI
分享收藏
查看更多内容