返回
Minimum Cost Encoding for Coded Distributed Computing Systems
DOI:10.1109/TCOMM.2026.3677353.png)
摘要
En 中文
在大规模分布式矩阵-向量乘法中,例如用于生成式AI,滞后节点会减慢甚至危及整个操作。编码分布式计算(CDC)使用纠删码来创建冗余计算以对抗滞后节点。这需要编码非常大的矩阵。此外,每当系统参数(例如AI模型中的权重矩阵)演变时,编码必须重复进行。本文介绍了一种用于降低CDC编码复杂度的通用框架。我们提出了编码蓝图的概念,这是一种构造计划,规定了每个编码符号如何从数据和先前计算的编码符号中构造出来。最优蓝图最小化给定代码所需算术运算的数量。我们首先设计仅使用加法运算的蓝图。然后,我们将该框架扩展以允许减法运算,从而进一步减少所需运算的数量。将优化问题表述为混合整数规划(MIP)并求解。矩阵-向量乘法的数值结果表明,与标准方法相比,优化的蓝图可将编码运算减少高达60%,在大型应用中节省数十亿次运算。我们的技术也可用于高效解码。
Keyword:
Coded distributed computing (CDC)
encoding complexity
binary linear codes
mixed-integer programming (MIP)
encoding blueprint
期刊
IF:
8.3
论文数:
1.2W
被引数:
4.5W

