.png){kind=icon}
返回
FSP Matrix Compression Distillation Algorithm Based on Krylov Subspace Projection
.png){kind=icon}
OA
AI
DOI：10.1109/access.2026.3735117.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
分段Anything模型（SAM）因其强大的零样本泛化和分割性能而在通用视觉分割领域获得了广泛认可，但其庞大的网络架构严重限制了在移动和边缘设备上的部署。大多数现有的轻量化SAM方法采用解耦蒸馏，仅通过将轻量级编码器的输出特征与SAM编码器的输出特征对齐来传递知识。然而，这种对齐无法将教师模型的深层结构信息传递给学生，从而限制了学生的性能。为解决此问题，我们提出了一种基于Flow of Solution Procedure（FSP）矩阵的Krylov子空间投影的蒸馏方法，该方法实现了异构教师-学生模型对之间的深层结构信息对齐。所提出的Krylov投影压缩旨在保留FSP矩阵在降维过程中的主导结构信息，使基于FSP的蒸馏能够在不修改学生推理架构的情况下，高效地应用于通道维度不匹配的模型。得益于该方法，MobileSAM在真实框提示的分割中性能提升最高达4个百分点，在外部检测器生成的提示分割中提升3个百分点，并在不同点提示密度下的everything模式分割中mIoU提升6至10个百分点。这些结果证明了所提出方法的有效性，并为异构模型之间的结构化知识蒸馏提供了新的视角。
Keyword:
Knowledge distillation
FSP matrix
Krylov subspace
image segmentation
SAM
model compression
