Dynamic Computation Allocation for Efficient Visual Object Tracking Guided by Runtime Scene Complexity

Yong Zhou

doi:10.1109/tcsvt.2026.3749787

Dynamic Computation Allocation for Efficient Visual Object Tracking Guided by Runtime Scene Complexity

2026-11-02

0

PRE

AI

DOI：10.1109/tcsvt.2026.3749787

原文链接

摘要

En 中文

视觉目标跟踪的计算效率对于实际部署至关重要。近年来，视觉目标跟踪的进展主要集中在跟踪器精度上，并通过标准基准进行衡量。然而，这些进展不可避免地依赖于更复杂的模型，以显著的计算开销为代价。高复杂度严重限制了跟踪模型的实时性能，使其难以部署在资源受限的设备上。为缓解这一趋势，我们提出了一种创新的跟踪解决方案，该方案实时监测场景复杂度，并利用此信息动态控制计算资源在骨干跟踪网络中的分配。我们采用一个简单的多层层变压器骨干网络进行特征提取和模板-搜索交互。我们的场景复杂度评分模块由早期变压器层执行的运行时质量评估监督，从而估计当前帧的跟踪难度。基于该评分，我们的框架可以动态分配计算资源到不同的变压器层，在简单场景中减少不必要的计算，并在复杂场景中增加跟踪努力。为确保广泛的应用，我们提供了三个版本的跟踪器：DCATrack-L12、DCATrack-L8和DCATrack-L4。DCATrack-L12在LaSOT上达到69.0%的AUC，在Lasot_ext上达到49.4%的AUC，同时具有171 FPS的高GPU速度，在保持相当精度的同时，在GPU上比我们的SOTA基线快55%的FPS。DCATrack-L8在LaSOT上达到67.9%的AUC，同时具有更高的211 FPS GPU速度。DCATrack-L4在主流数据集上具有更高的精度，在GPU上比MixFormerV2-S快78 FPS，在CPU上快14 FPS。实验结果表明，我们的轻量级模型在计算效率与跟踪性能之间取得了显著平衡，同时作为副产品，提供了一种场景复杂度的度量，可用于任何下游视觉分析。代码和检查点可在https://github.com/JNU2023ZY/DCATrack获取。

Keyword:

Visual object tracking

Transformer tracker

Real-time tracking

Dynamic computation allocation

Early exit

Dynamic Computation Allocation for Efficient Visual Object Tracking Guided by Runtime Scene Complexity

摘要

期刊

机构

引用论文