.png){kind=icon}
返回
SATrack: Semantic-Aware Alignment Framework for Visual–Language Tracking
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14193935.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉-语言跟踪通常面临目标形变和相似物体引起的混淆等挑战。这些问题会破坏视觉输入与其文本描述之间的对齐，导致跨模态语义漂移和特征匹配错误。为解决这些问题，我们提出了SATrack，一种面向语义对齐的视觉-语言跟踪框架。具体而言，我们首先提出了语义感知对比对齐模块，该模块利用注意力引导的语义距离建模来识别语义相似但标签不同的困难负样本。这有助于模型更好地区分混淆实例并捕捉细粒度的跨模态差异。其次，我们设计了跨模态标记过滤策略，该策略利用由视觉模板和文本描述共同引导的注意力响应来过滤搜索区域中无关或弱相关的标记。这有助于模型更精确地聚焦于目标。最后，我们提出了一种置信度引导的模板记忆机制，该机制使用卷积操作和置信度阈值来评估每帧的预测质量。高置信度帧被存储，以选择性更新模板记忆，使模型能够随时间适应外观变化。大量实验表明，SATrack在TNL2K基准测试中取得了65.8%的成功率，超越了之前的最佳方法UVLTrack 3.1%，并展示了卓越的鲁棒性和准确性。
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
引用论文
分享收藏Transformer vision-language tracking via proxy token guided cross-modal fusionTransformer vision-通过代理令牌引导的跨模态融合进行语言跟踪
PREAI
分享收藏Uncertainty and diversity-based active learning for UAV tracking基于不确定性和多样性驱动的UAV跟踪主动学习.png)
NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏
查看更多内容