Congestion-Robust Multi-Split Computing System in Data Center Networks

doi:10.1109/TVT.2025.3572588

Congestion-Robust Multi-Split Computing System in Data Center Networks

0

PRE

AI

DOI：10.1109/TVT.2025.3572588

原文链接

原文求助

摘要

En 中文

在多分割计算中，为达到低推理延迟并避免显著精度下降，将子模型分配给能够通过低丢包率（PDR）路径交换中间数据的计算节点是有利的。本文首先针对多分割计算提出一个优化问题，旨在最小化推理延迟，同时保证足够高的精度并在计算节点间实现负载均衡。为获取该问题的最优解（即最优分割策略），我们提出了一种抗拥塞的多分割计算系统（CRMC）。在CRMC中包含两个阶段：1）准备阶段；2）执行阶段。在准备阶段，需要深度神经网络模型推理结果（即任务所有者）的计算节点根据分割点和PDR创建精度预测模型。在执行阶段，任务所有者收集计算节点的可用计算资源量、路径的预期PDR以及有线链路的传输速率。随后，利用预测模型，任务所有者生成能保证足够高精度并在计算节点间实现负载均衡的可能分割策略（即最优分割策略的候选方案）。之后，任务所有者选择具有最低推理延迟的最优分割策略，并按照该策略执行多分割计算。评估结果表明，CRMC有效降低了推理延迟，同时将精度维持在80%以上，并确保了负载的均衡分布，各计算节点在110 FLOPs（总模型复杂度的70%）下运行。

Keyword:

Split computing

split machine learning

distributed computing

inference

data center network

Congestion-Robust Multi-Split Computing System in Data Center Networks

摘要

期刊

机构

引用论文