.png){kind=icon}
返回
Real Field Error Correction for Coded Distributed Computing-Based Training
.png){kind=icon}
PRE
AI
DOI：10.1109/TCCN.2024.3502495.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本研究旨在解决基于编码分布式计算（CDC）的深度学习（DL）中的实际场景错误校正问题。一方面，在编码和解码过程中分别采用移位-加法（SA）编码和之字形解码（ZD），旨在共同实现低计算复杂度。另一方面，存储实数会引入截断误差，该误差在SA操作下影响显著，并且截断误差可能在ZD解码过程中放大并扩散至较大范围。这些误差可能导致迭代点暂时偏离其工作路径，相当于减缓训练过程。首先，为缓解截断误差放大效应，我们提出CDC-Pre/Post框架，该框架在编码前预处理数据并在解码后后处理数据。其次，为纠正误差，我们提出一种使用卷积码重新解释SA编码结构的方法，并设计了最大聚类解码（LCD）算法。第三，为兼顾ZD的快速解码和LCD的错误校正能力，我们提出一种平滑从ZD过渡到LCD（ST-ZD-LCD）的方法，该方法随着新接收的数据包增量更新。实验结果表明，本方案具有以下两方面的优势：第一，其错误校正性能显著优于简单的ZD方法；第二，基于ST-ZD-LCD的分布式DL系统的训练时间显著缩短。
Keyword:
SAZD
coded distributed computing
real field error correction
distributed training
convolution code
期刊
I
IF:
7
论文数:
1.6K
被引数:
5.5K
机构
引用论文
.png){kind=icon}
分享收藏Design of Binary Erasure Code With Triple Simultaneous Objectives for Distributed Edge Caching in Industrial Internet of Things Networks工业物联网分布式边缘缓存三重目标二进制纠删码设计
PREAI
分享收藏
查看更多内容