Training sparse convolutional deep predictive coding networks with attention

Hongming Li

doi:10.1016/j.neunet.2026.108836

Training sparse convolutional deep predictive coding networks with attention

2026-03-12

0

PRE

AI

DOI：10.1016/j.neunet.2026.108836

原文链接

原文求助

摘要

En 中文

• 该论文提出了一种新颖的深度预测编码网络（DPCN）学习算法，通过在训练阶段引入具有自上而下注意力的双向结构，改进了之前的DPCNs，以提高内部表示的质量，而这一直是一个未解决的问题。 • 所提出的模型由六个卷积稀疏编码层组成，能够高效地在最深层保留对象级特征，这些特征即使在高度稀疏（非零值占比小于1%至5%）的情况下仍然具有视觉可解释性。 • 我们还提出了一种新的可视化方法，适用于DPCN以及其他稀疏编码方法的高层网络。该方法将深层感受野的激活投影回输入空间，从而能够清晰观察与单个学习到的卷积滤波器相关的注意力模式。

Keyword:

Deep Predictive Coding Network

Sparse Coding

Attention Mechanism

Convolutional Neural Networks

Visual Interpretability

Training sparse convolutional deep predictive coding networks with attention

摘要

期刊

机构

引用论文