.png){kind=icon}
返回
Modality Interaction Decoupling: Spatiotemporal Memory-Driven Unified Multimodal Tracking Framework
.png){kind=icon}
PRE
AI
DOI：10.1109/JIOT.2026.3664965.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
当前多模态跟踪网络的设计主要关注骨干网络内的空间特征交互，缺乏对时序信息的利用。尽管一些方法通过引入相邻帧的序列信息或利用特征提取阶段更新的时序特征来融入时序线索，但在复杂场景中难以捕捉动态目标变化和运动信息。为解决这些局限性，本文提出了一种时空记忆驱动的统一多模态跟踪框架（SMMTrack）。与依赖骨干网络内特征交互范式的现有工作不同，本研究创新性地引入了一种解耦的骨干特征提取框架，部署并行、独立的Vision Transformer（ViT）网络分别提取RGB和X模态（RGB-T、RGB-D和RGB-E）的信息，摒弃了传统的骨干内特征交互。此外，我们在特征提取阶段引入记忆机制以实现长期目标建模。同时，设计了一个长期记忆存储与检索模块，动态更新Memory-List，从而允许模型全面捕捉目标外观变化和运动趋势。SMMTrack是一个涵盖三项任务（RGB-T、RGB-D和RGB-E跟踪）的统一框架。实验结果表明，SMMTrack优于当前最优（SOTA）模型，在多样化的多模态跟踪场景中表现出卓越性能。代码和结果已发布于https://github.com/qfxb/SMMTrack
Keyword:
Decoupled modality interaction
long-term object modeling
multimodal object tracking
spatiotemporal memory mechanism
期刊
IF:
8.9
论文数:
1.4W
被引数:
7.8W
机构
引用论文
Xu, C.; Zhong, B.; Liang, Q.; Zheng, Y.; Li, G.; Song, S. Less is More: Token Context-aware Learning for Object Tracking. arXiv 2025, arXiv:2501.00758. [Google Scholar] [CrossRef]Xu, C.; Zhong, B.; Liang, Q.; Zheng, Y.; Li, G.; Song, S. 少即是多：面向目标跟踪的Token上下文感知学习. arXiv 2025, arXiv:2501.00758. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏
查看更多内容