Alignment-Invertibility Regularization for Explainable Neural Networks

Borui Zhang

doi:10.1109/TPAMI.2026.3665728

Alignment-Invertibility Regularization for Explainable Neural Networks

2026-02-17

0

PRE

AI

DOI：10.1109/TPAMI.2026.3665728

原文链接

原文求助

摘要

En 中文

深度学习对社会产生了深远影响，但深度神经网络的固有特性阻碍了其在高可靠性工业中的进一步应用。为揭开这些“黑箱”的神秘面纱，大量研究尝试通过观察或影响模型内部变量来提升可解释性。然而，现有方法依赖启发式规则，缺乏严谨的理论基础，往往需要复杂的模型修改或重新设计。本研究首先将可解释性的两个基本属性对齐和可逆性进行形式化定义，作为严谨可解释性分析的理论支柱。在此基础上，我们提出Bort，一种即插即用优化器，通过在模型参数上施加Boundedness和orthogonality约束来提升可解释性。这些约束基于对齐和可逆性原则从理论上推导得出。考虑到传统优化器无法利用数据特征进行精确归因，我们提出了一种数据感知扩展方法DBort，其整合了一个辅助损失项。有趣的是，在线性情况下，DBort收敛至主成分分析（PCA）。我们对惩罚项设计的深入分析表明，$l_{1}$范数惩罚相比$l_{2}$范数惩罚能更严格地遵循所施加的约束。我们的实验通过重建和回溯优化后的模型表示，揭示可解释性显著增强。此外，利用Bort，我们成功合成了无需额外训练的可解释对抗样本。值得注意的是，Bort在包括ResNet和DeiT在内的多种架构上，于MNIST、CIFAR-10和ImageNet等基准数据集上均一致提升了分类准确率。

Keyword:

Interpretable deep learning

XAI

neural networks

optimizer

explainability

Alignment-Invertibility Regularization for Explainable Neural Networks

摘要

期刊

机构

引用论文