.png){kind=icon}
返回
Towards Accelerating Data Intensive Application's Shuffle Process Using SmartNICs
.png){kind=icon}
OA
AI
DOI：10.1145/3589980.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
新兴的SmartNIC技术的广泛应用为将应用层计算卸载到网络层创造了新的机会，这减轻了主机CPU的负担，从而提高了性能。Shuffle，即全对全数据交换过程，是分布式数据密集型应用中网络通信的关键构建模块，并且可以从SmartNIC中获益。
在本文中，我们开发了SmartShuffle，它通过将各种计算任务卸载到SmartNIC设备中来加速数据密集型应用的数据交换过程。SmartShuffle支持卸载低级网络功能（包括数据分区和网络传输）以及高级计算任务（包括过滤、聚合和排序）。SmartShuffle采用协同卸载架构，使发送端和接收端SmartNIC共同促进数据交换计算卸载的效益。SmartShuffle谨慎管理设备上严格的、时变的计算和内存约束。我们提出了一种动态卸载方法，该方法在运行时动态地在主机CPU和SmartNIC之间迁移算子，以充分利用两个设备上的资源。
我们在Stingray SoC SmartNIC上原型化了SmartShuffle，并将其集成到Spark中。我们的评估表明，SmartShuffle通过降低作业完成时间，提高了主机CPU效率和I/O效率。在TPC-H基准测试中，SmartShuffle相比Spark和Spark RDMA最多可提升40%的性能。
期刊
暂无期刊信息
机构
暂无机构信息
引用论文
暂无论文信息