返回
Exploring Dynamic Transformer for Efficient Object Tracking
DOI:10.1109/TNNLS.2025.3545752.png)
摘要
En 中文
速度-精度权衡是视觉目标跟踪中的一个关键问题,因为它通常需要低延迟,并且部署在资源受限的平台上。现有高效跟踪的解决方案主要关注轻量级骨干网络或模块,但这些方法通常以牺牲精度为代价。在本文中,受动态网络路由的启发,我们提出了DyTrack,一种用于高效跟踪的动态Transformer框架。现实世界的跟踪场景表现出不同水平的复杂性。我们认为,简单的网络对于简单的视频帧已经足够,而更复杂的帧应该分配更多的计算资源。DyTrack能够自动学习为不同输入配置适当的推理路径,从而提高可用计算预算的利用率,并在相同的运行速度下实现更高的性能。我们将实例特定的跟踪表述为一个序贯决策问题,并将终止分支整合到模型的中层。此外,我们提出了一种特征回收机制,通过重用前驱模块的输出最大化计算效率。另外,设计了一种目标感知的自蒸馏策略,通过模拟深度模型的表示模式来增强早期预测的区分能力。大量的实验表明,DyTrack仅用一个模型就实现了有前景的速度-精度权衡。例如,DyTrack在LaSOT数据集上以256 fps的速度获得了64.9%的曲线下面积(AUC)。
Keyword:
Dynamic transformer
efficient object tracking
instance-specific computation
speed-precision tradeoff
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W

