Controllability Analysis for Vision State Space Models: A Structural Interpretability Framework

Mohamed A. Mabrok

doi:10.1109/tnnls.2026.3718747

Controllability Analysis for Vision State Space Models: A Structural Interpretability Framework

2026-08-18

0

PRE

AI

DOI：10.1109/tnnls.2026.3718747

原文链接

原文求助

摘要

En 中文

状态空间模型（SSMs）已成为视觉识别中替代Transformer的有力选择，在保持竞争性精度的同时提供线性计算复杂度。然而，针对这些模型循环动态的专用可解释性工具的缺失仍是一个显著差距：现有的显著性方法源于卷积或基于注意力的架构，未考虑SSMs中信息流动所依赖的顺序状态传播。我们引入可控性分析，一种基于控制理论的框架，量化每个输入位置对视觉SSMs内部状态动态的结构性影响。我们推导出两种互补指标：一种基于雅可比矩阵的度量，通过高效的 $O(LN)$ 后向递归追踪全序列的敏感性传播；以及一种基于格兰姆矩阵的度量，对对角状态矩阵提供封闭式、完全并行化的解决方案。与产生类别特定解释的梯度基归因方法不同，可控性指标衡量与目标类别无关的内在模型属性。在涵盖显微镜、光学相干层析成像（OCT）、皮肤镜、放射学、自然图像、服装和遥感等多样视觉领域的七个图像分类基准上的实验表明，可控性分析产生完全类别无关的解释（跨类别相关性为1.0，相比Grad-CAM在各数据集上的−0.45至0.18），并揭示随成像领域变化的逐层信息流模式。在模型训练效果最佳的数据集（BloodMNIST，98%测试准确率）上，所提雅可比指标在标准插入/删除保真度方面优于Grad-CAM（雅可比 $0.63 {\,}\pm {\,}0.02$ 对比Grad-CAM $0.47 {\,}\pm {\,}0.03$ ，均值±标准差基于三个训练种子，各种子95%自助法置信区间不重叠）；在低精度数据集上Grad-CAM在该类别特定指标上仍表现更强，这一差距被我们讨论为模型内部动态与分类任务不完全对齐的诊断，而非结构性框架的失效。一种互补的内部注意力交并比（IoU）指标，衡量各方法显著性图与模型自身L₂幅度注意力模式的对齐程度，显示可控性在七个数据集中六个上优于Grad-CAM。可控性剖面的方向分解进一步表明，影响随深度渐进锐化，从早期层的弥散响应过渡到深层的高幅度稀疏峰值，与语义上有意义的结构对齐。所提框架为跨应用领域理解、调试和改进视觉SSMs提供了原则性基础。

Keyword:

Controllability

explainability

saliency maps

state space models (SSMs)

structural interpretability

visual Mamba

Controllability Analysis for Vision State Space Models: A Structural Interpretability Framework

摘要

期刊

机构

引用论文