返回
SpinTrack: Cyclic token permutation for transformer-based tracking
DOI:10.1016/j.neucom.2026.134612.png)
摘要
En 中文
基于Transformer的视觉跟踪器通过建模鲁棒的长距离依赖关系,彻底改变了该领域。然而,它们面临一个根本性的权衡:全局注意力机制存在二次计算复杂度问题,而高效的窗口基替代方案往往限制了感受野,缺乏定位经历大空间位移的动态目标所需的特定归纳偏置。为解决此限制,我们引入了旋转窗口注意力(SWA)。与主要使用窗口移位来保证图像连续性的传统视觉Transformer不同,SWA是专门为跟踪设计的。它通过查询标记的策略性循环旋转,高效地融合模板和搜索区域特征。通过这种旋转,模型执行空间扫描。该扫描使跟踪器能够捕获跨窗口移动的目标,从而保持线性计算复杂度。基于SWA,我们提出了SpinTrack,一种基于Transformer的跟踪器,在准确性和速度之间实现了最佳平衡。为便于标记旋转,我们开发了一种自适应位置编码方案来处理空间排列和变化分辨率——这一设计进一步提高了鲁棒性。大量实验表明,SpinTrack在多个基准测试中实现了最优的准确度-速度权衡,在GOT-10k上达到75.9%的高竞争力平均重叠率(AO),同时在单RTX 4090 GPU上以75 FPS运行。
Keyword:
Visual object tracking
Siamese network
Attention
Spin window attention
Transformer

