Dynamic adaptive sparse Mamba for video-level tracking

Huanlong Zhang

doi:10.1007/s13042-026-03241-y

2026-08-04

PRE

DOI：10.1007/s13042-026-03241-y

原文链接

原文求助

摘要

En 中文

从视频序列构建高质量上下文信息对视觉目标跟踪至关重要。然而，现有方法通常仅使用少量标记直接传递此信息。这可能会引入无关信息，从而误导后续帧的跟踪。为有效解决此问题，我们提出了一个新的视频级视觉目标跟踪框架，称为用于视频级跟踪的动态自适应稀疏Mamba（DASM）。其核心组件是注意力引导的上下文信息融合模块（AGCIF）。我们进一步优化了基于Mamba的上下文传播机制。Mamba在整合上下文信息时无法独立评估新信息的质量。因此，我们在Mamba的隐藏层中嵌入了稀疏注意力机制，使所有新上下文信息在经过稀疏注意力机制后才进行融合。我们利用稀疏注意力使Mamba层能够聚焦于与目标强相关的局部特征，增强Mamba从混合特征中过滤关键信息的能力。在保留空间邻域关联的同时，所提出的设增强了模型对目标的时空建模能力，并促进高质量上下文信息的利用和下游传播。然而，在大多数现有的基于Mamba的跟踪器中，当前帧的混合响应被直接写入内存更新过程，因此目标相关信息和背景主导的响应可能会被累积在一起。因此，剩余的挑战不仅是如何传播更多上下文，而且是如何在受控方式下传播更高质量的上下文。这一观察促使我们提出DASM框架，该框架在状态更新前引入目标感知的稀疏滤波，从而将上下文传播从被动累积转变为质量控制的内存传播。此外，我们还提出了动态视频片段调度模块（DVSS），该模块使用多层感知器评估近期的多帧跟踪结果，作为决定输入连续视频片段长度的依据。这一设计确保跟踪器在平衡跟踪精度和速度的同时捕获足够的高质量信息。我们的跟踪器已在多个数据集上进行了广泛实验，验证了其优异性能。

Keyword:

Object tracking

Dynamic scheduling

Sparse attention