.png){kind=icon}
返回
Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
.png){kind=icon}
PRE
AI
DOI：10.1109/TBDATA.2026.3657302.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于Transformer的基础模型正变得更深更大。为快速训练，其数十亿参数（张量）被分配到运行在众多现代且昂贵加速器上的并行任务中。为分摊巨大的硬件投资，共享聚合资源给多租户是经济有效的。然而，资源竞争导致严重的滞后问题。现有工作针对传统数据并行ism做出了贡献，但由于分割张量间的依赖性，它们无法很好地适用于新的张量并行ism。本文首次尝试加速异构张量并行ism。我们总结了具体挑战，包括非常频繁的同步和繁重的张量计算工作负载。我们的解决方案是根据需求调整参数维度，快速动态地平衡工作负载。通过优先调整尺寸来减少精度损失。我们还迁移任务间的计算负载，且不损失精度。选择最高效的通信原语，并以非冗余方式调度，以减少运行时延迟。我们的最终混合解决方案建立在调整尺寸和迁移之上。通过研究精度与效率的权衡，它能智能地找到“最佳点”。广泛的实验验证了我们建议的有效性。
Keyword:
Tensor parallelism
multi-tenant sharing
dynamic workload balancing
heterogeneous computations
期刊
I
IF:
5.7
论文数:
892
被引数:
3.0K
机构
引用论文
.png){kind=icon}
Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization不要给我细节，只是总结!面向极端摘要的主题感知卷积神经网络
OAAI
OAAI分享收藏HeterPS: Distributed deep learning with reinforcement learning based scheduling in heterogeneous environmentsHeterPS: 异构环境中基于强化学习的分布式深度学习调度
OAAI
OAAI分享收藏Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel TrainingColossal-ai: 用于大规模并行训练的统一深度学习系统OAAI
OAAI分享收藏
查看更多内容