返回
Perturbation-based error detection and correction (PBEDC) in dependable large-scale machine learning systems
DOI:10.1016/j.future.2025.107928.png)
摘要
En 中文
传统的神经网络(NNs)容错方案通常需要冗余或改变正常运行,导致显著的开销。它们对于通常采用多个复杂网络的大规模机器学习(ML)系统来说并不可行。本文提出了一种基于扰动的错误检测与纠正(PBEDC)方案,旨在通过再利用推理过程来执行错误检测与纠正。可靠性性能由在有错误存在时仍能正确运行的能力来定义,并且是考虑的关键特性。PBEDC采用一组紧凑的代表样本,这些样本被选中用于监控具有中间信号的少数检查节点。PBEDC的有效性通过以对比语言-图像预训练(CLIP)网络作为案例研究进行评估。与使用最终预测作为检查节点的传统方案相比,PBEDC实现了更优的错误检测率(> 95 %),并且能够处理权重中的单比特翻转错误(这些错误无法在现有方案中被捕获)。当该方案与奇偶校验码结合使用时,这也使得错误纠正成为可能。此外,本文的分析和仿真结果表明,为达到满意的容错能力所需的PBEDC样本数量非常少;所提出方案的复杂度不随网络规模增大而增加,这一优势在大规模ML系统中尤为显著。
期刊
F
IF:
0
论文数:
642
被引数:
0
机构
暂无机构信息
引用论文
Improving the tolerance of multilayer perceptrons by minimizing the statistical sensitivity to weight deviations
NEUROCOMPUTING
IF6.5
A novel learning algorithm which improves the partial fault tolerance of multilayer neural networks
NEURAL NETWORKS
IF6.3

