.png){kind=icon}
返回
Training multi-layer binary neural networks with random local binary error signals
.png){kind=icon}
PRE
AI
DOI：doi:10.1088/2632-2153/adf0c1.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
二值神经网络（BNNs）通过仅使用1位表示权重和激活值，显著降低了机器学习和深度学习中的计算复杂度与内存使用。然而，现有的大多数BNN训练算法依赖量化感知的浮点随机梯度下降（SGD），限制了二值运算仅在推理阶段被充分利用。本研究中，我们首次提出了一种适用于多层BNN的全二值且无梯度的训练算法，无需回传浮点梯度。具体而言，该算法基于局部二值误差信号和二值权重更新，采用整数值隐藏权重作为突触元可塑性机制，从而增强其神经生物学合理性。我们提出的方案通过仅使用XNOR、Popcount以及增减操作，实现了二值多层感知器的训练。在多类分类基准测试中的实验结果显示，与唯一现有的全二值单层最先进方案相比，测试准确率提升了最高+35.47%。与全精度SGD相比，在相同总内存需求下，我们的方案将测试准确率提高了最高+35.30%，同时将布尔门总数计算成本降低了2至3个数量级。该算法已作为公共仓库向科学界开放。
Keyword:
binary neural networks
gradient-free training
XNOR operations
synaptic metaplasticity
multi-layer perceptrons
期刊
M
IF:
4.6
论文数:
1.1K
被引数:
3.4K
机构
暂无机构信息
引用论文
QCA-Based Design of Novel Low-Power n-Bit Ripple Carry Incrementer and Ripple Carry Decrementer基于QCA的n位行波进位加1器和行波进位减1器的新型低功耗设计.png)
Nano
NanoIF0
PREAI
分享收藏
分享收藏
分享收藏分享收藏
查看更多内容