Extending WebAssembly for Deep-Learning Inference Across the Cloud Continuum

doi:10.1109/TNSM.2025.3606343

2025-09-04

PRE

Saif Eddine Khelifa

Miloud Bagaa

Messaoud Ahmed Ouameur

Adlen Ksentini

DOI：10.1109/TNSM.2025.3606343

原文链接

原文求助

摘要

En 中文

无服务器计算和云边连续体（cloud-edge continuum）的最新进展增加了对WebAssembly（WASM）的兴趣。这项技术实现了跨异构计算环境的可移植性和互操作性，同时达到接近本地的执行速度。目前，WASM支持单指令多数据（Single Instruction Multiple Data, SIMD），允许数据级并行，这对向量可计算操作（如通用矩阵-矩阵乘法（GEMM）和卷积层）特别有益。然而，WASM缺乏与专用硬件加速器（如GPU、TPU和NPU）的原生集成，以及利用多核处理能力的能力，这些对于高效运行深度学习（DL）工作负载至关重要。相比之下，尽管取得了这些进展，WASM仍然缺乏对异构加速器（如GPU、TPU和NPU）的原生支持，以及满足现代DL推理服务延迟和吞吐量要求所需的全多核并行能力。为弥合这一差距，开发了WASI-NN，使WASM能够与利用硬件加速的外部运行时（如OpenVINO和ONNX Runtime）集成。然而，这些当前集成通常在某些设备上引入性能开销，限制了其在CECC中的可用性。为解决这些挑战，我们提出了一种新的集成方案，聚焦于将TVM作为WASI-NN的外部运行时，以增强WASM的性能并扩展对更广泛设备类型的支持。此外，我们将此解决方案集成到Knative（一种无服务器框架）中，以提供用于DL部署的可扩展且灵活的平台。使用WASM技术，我们通过比较研究评估了我们的TVM解决方案。在AMD CPU上的结果显示了该方法的有效性，对于基于CNN的模型，相较于其他WASI-NN集成方案（如ONNX Runtime和OpenVINO），实现了58%的整体性能提升，同时在其他平台（如Intel GPU）上也达到了最佳性能。这些发现证明了我们解决方案的有效性。

Keyword:

Cloud edge continuum (CECC)

WebAssembly (WASM)

cloud computing

edge computing

edge DL