arrow
返回

Exploring Dynamic Transformer for Efficient Object Tracking

delete2025-08-01
delete0
delete
OA
AI
J
Jiawen Zhu
X
Xin Chen
H
Haiwen Diao
S
Shuai Li
J
Jun-Yan He
C
Chenyang Li
B
Bin Luo
D
Dong Wang
卢
卢湖川 (Huchuan Lu)
DOI:10.1109/TNNLS.2025.3545752delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
速度-精度权衡是视觉目标跟踪中的一个关键问题,因为它通常需要低延迟,并且部署在资源受限的平台上。现有高效跟踪的解决方案主要关注轻量级骨干网络或模块,但这些方法通常以牺牲精度为代价。在本文中,受动态网络路由的启发,我们提出了DyTrack,一种用于高效跟踪的动态Transformer框架。现实世界的跟踪场景表现出不同水平的复杂性。我们认为,简单的网络对于简单的视频帧已经足够,而更复杂的帧应该分配更多的计算资源。DyTrack能够自动学习为不同输入配置适当的推理路径,从而提高可用计算预算的利用率,并在相同的运行速度下实现更高的性能。我们将实例特定的跟踪表述为一个序贯决策问题,并将终止分支整合到模型的中层。此外,我们提出了一种特征回收机制,通过重用前驱模块的输出最大化计算效率。另外,设计了一种目标感知的自蒸馏策略,通过模拟深度模型的表示模式来增强早期预测的区分能力。大量的实验表明,DyTrack仅用一个模型就实现了有前景的速度-精度权衡。例如,DyTrack在LaSOT数据集上以256 fps的速度获得了64.9%的曲线下面积(AUC)。
Keyword:
Dynamic transformer
efficient object tracking
instance-specific computation
speed-precision tradeoff

期刊

IEEE Transactions on Neural Networks and Learning Systems 封面图
IEEE Transactions on Neural Networks and Learning Systems
IF:
8.9
论文数:
7.6K
被引数:
7.2W

机构

T
tongyi lab
学者数:
9
论文数: 3
被引数: 0
D
Dalian University of Technology
学者数:
6.0W
论文数: 4.4W
被引数: 5.5W
T
The Hong Kong Polytechnic University
学者数:
5.1K
论文数: 3.0K
被引数: 17
学者 查看更多机构
引用论文

引用论文

AiATrack: Attention in Attention for Transformer Visual Tracking
err2022-10-23
err0
PREAI
errShenyuan Gao; Chunluan Zhou; Chao Ma; Xinggang Wang; Junsong Yuan
err分享
err收藏
A Benchmark and Simulator for UAV Tracking
err2016-09-17
err0
PREAI
errMatthias Mueller; Neil Smith; Bernard Ghanem
err分享
err收藏
Robust Object Tracking by Nonlinear Learning
err2018-10-01
err15
errOAAI
errMa, Bo; Hu, Hongwei; Shen, Jianbing; Zhang, Yuping; Shao, Ling; Porikli, Fatih
err分享
err收藏
err分享
err收藏
SkipNet: Learning Dynamic Routing in Convolutional Networks
err2018-10-06
err0
PREAI
errXin Wang; Fisher Yu; Zi-Yi Dou; Trevor Darrell; Joseph E. Gonzalez
err分享
err收藏
学者 查看更多内容