.png){kind=icon}
返回
The Cascaded Forward algorithm for neural network training
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2024.111292.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
反向传播（BP）算法在深度学习的发展中发挥了重要作用。然而，该算法存在一些局限性，例如陷入局部最小值和出现梯度消失/爆炸问题，这些问题引发了对其生物合理性的质疑。为解决这些局限性，研究人员已初步探索了替代反向传播的算法，其中前向-前向（FF）算法最为知名。本文提出了一种新的神经网络学习框架，即级联前向（CaFo）算法，该算法不依赖BP优化（如FF中的做法）。与FF不同，CaFo直接在每个级联块输出标签分布，并免除了生成额外负样本的要求。因此，CaFo在训练和测试阶段均能实现更高效的流程。此外，在CaFo框架中，每个块可以并行训练，便于部署到并行加速系统中。该方法在四个公开的图像分类基准数据集上进行了评估，实验结果表明，与近期提出的基线方法相比，预测精度有显著提升。代码地址：https://github.com/Graph-ZKY/CaFo.
Keyword:
Deep neural network
Backpropagation algorithm
Forward-Forward algorithm
Image classification
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
引用论文
分享收藏Closed -loop unified knowledge distillation for dense object detection用于密集物体检测的闭环统一知识蒸馏.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Progressive modality-complement aggregative multitransformer for domain multi-modal neural machine translationPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容