arrow
返回

Minimum Cost Encoding for Coded Distributed Computing Systems

delete2026-03-25
delete0
PRE
AI
M
Mahyar Karami
M
M. Ardakani
H
Hamid Ebrahimzad
Z
Zhuhong Zhang
DOI:10.1109/TCOMM.2026.3677353delete
delete原文链接
delete分享
delete收藏
摘要

摘要

En 中文
在大规模分布式矩阵-向量乘法中,例如用于生成式AI,滞后节点会减慢甚至危及整个操作。编码分布式计算(CDC)使用纠删码来创建冗余计算以对抗滞后节点。这需要编码非常大的矩阵。此外,每当系统参数(例如AI模型中的权重矩阵)演变时,编码必须重复进行。本文介绍了一种用于降低CDC编码复杂度的通用框架。我们提出了编码蓝图的概念,这是一种构造计划,规定了每个编码符号如何从数据和先前计算的编码符号中构造出来。最优蓝图最小化给定代码所需算术运算的数量。我们首先设计仅使用加法运算的蓝图。然后,我们将该框架扩展以允许减法运算,从而进一步减少所需运算的数量。将优化问题表述为混合整数规划(MIP)并求解。矩阵-向量乘法的数值结果表明,与标准方法相比,优化的蓝图可将编码运算减少高达60%,在大型应用中节省数十亿次运算。我们的技术也可用于高效解码。
Keyword:
Coded distributed computing (CDC)
encoding complexity
binary linear codes
mixed-integer programming (MIP)
encoding blueprint

期刊

IEEE Transactions on Communications 封面图
IEEE Transactions on Communications
IF:
8.3
论文数:
1.2W
被引数:
4.5W

机构

H
huawei technologies canada company ltd
学者数:
5
论文数: 1
被引数: 0
S
synopsys inc
学者数:
11
论文数: 9
被引数: 88
U
University of Alberta
学者数:
2.8K
论文数: 1.2K
被引数: 3.2W
学者 查看更多机构
引用论文

引用论文

Speeding Up Distributed Machine Learning Using Codes
err2018-03-01
err0
errOAAI
errKangwook Lee; Maximilian Lam; Ramtin Pedarsani; Dimitris Papailiopoulos; Kannan Ramchandran
err分享
err收藏
err分享
err收藏
On the Locality of Codeword Symbols
err2012-11-01
err0
errOAAI
errParikshit Gopalan; Cheng Huang; Huseyin Simitci; Sergey Yekhanin
err分享
err收藏
Integer and Combinatorial Optimization
err
IF0
err2014-08-22
err0
PREAI
errGeorge Nemhauser; Laurence Wolsey
err分享
err收藏
Integer Programming
err
IF0
err2020-09-19
err0
PREAI
errLaurence Wolsey
err分享
err收藏
Learning to Branch with Tree MDPs
err2022-01-01
err0
PREAI
errAardal,Karen; Chen,Feng; Chetelat,Didier; Gasse,Maxime; Lodi,Andrea; Scavuzzo,Lara; Yorke-Smith,Neil
err分享
err收藏
err分享
err收藏
err分享
err收藏
学者 查看更多内容