.png){kind=icon}
返回
Computing-State Driven Proactive Congestion Control for AI Cluster Interconnect Networks
.png){kind=icon}
PRE
AI
DOI：10.1109/tnsm.2026.3705429.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
数据中心网络中计算能力的快速升级和大型语言模型（LLM）的繁荣，对超低延迟和高吞吐量提出了严格需求。为缓解分布式训练（DT）期间集合通信的开销，远程直接内存访问（RDMA）已在数据中心网络（DCNs）中得到广泛应用。特别是，针对RDMA设计的拥塞控制算法（CCAs）受到了广泛关注，以缓解网络拥塞下的性能下降。然而，通过综合分析，我们发现，由于端到端反应迟缓以及速率收敛缓慢，现有广泛使用的反应式CCAs在处理突发流量（如AllReduce）时存在若干局限性。具体而言，在发送方激活反应并收敛至公平速率之前，会传输过多数据包，导致队列深度积压，可能引发后续显著的吞吐量损失。本文提出了一种易于部署的计算状态驱动的主动拥塞控制（CSPCC）。CSPCC包含拥塞预测模块和主动拥塞响应模块，利用当前计算状态预测网络拥塞时间，并提前通知相关源。我们详细介绍了CSPCC的实现。随后，我们进行了小规模硬件测试和大规模仿真，以评估CSPCC的性能。在测试平台上，在NCCL-TESTs下，与DCQCN相比，CSPCC将吞吐量提高了1.67%-13.35%，并将交换机队列占用率降低了28.33%-58.33%。此外，在并发多任务LLaMA训练下，它将端到端作业完成时间（JCT）减少了5.3%-9.0%。
Keyword:
Timing
Modeling
Fluid flow
Information rates
Throughput
Switches
Training
Data centers
Conferences
Joining processes
Large language model
remote direct memory access
congestion control algorithms
distributed training
