.png){kind=icon}
返回
Multi-domain universal representation learning for hyperspectral object tracking
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111389.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
高光谱视频（HSVs）由于能够通过光谱信息识别材料，因此在目标跟踪方面比彩色视频具有更大的潜力。随着传感技术的发展，HSVs被不同相机在不同领域捕获，需要一种能够跨所有领域应用并增强判别力的通用表示。现有方法要么为每个领域训练单独的模型，要么在多个领域共同训练单个模型。这些方法往往未能充分利用领域共享属性和领域特定属性，阻碍了通用表示的有效学习。此外，多领域HSVs数据有限，给训练鲁棒的通用表示带来了额外挑战。为解决这些问题，本文提出DaSSP-Net，一种基于领域自适应和空间-光谱提示学习的多领域高光谱跟踪通用表示学习框架。具体而言，我们利用在大型彩色视频上预训练的基础模型，并引入一个频带不变的空-谱提示模块，引导基础模型跨所有领域学习通用表示。该空-谱提示模块参数量不到模型参数的1%，用于捕获高光谱图像与伪彩色图像之间的全局空间-光谱交互。通过空-谱提示学习，我们结合了基础模型的鲁棒性和泛化能力以及HSVs的材料识别能力，解决了HSVs数据稀缺的问题。此外，为缓解使用单一通用模型可能导致的性能权衡问题，我们引入一个领域适配模块，用于学习每个领域的特定分布。大量实验表明，我们的DaSSP-Net实现了最先进的目标跟踪性能。源代码将发布于https://github.com/hscv/DaSSP-Net。
Keyword:
Hyperspectral object tracking
Domain-specific information
Visual prompt learning
Spatial-spectral feature
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
SPTrack: Spectral Similarity Prompt Learning for Hyperspectral Object TrackingSPTrack：基于光谱相似性的提示学习的高光谱目标跟踪
OAAI
OAAI分享收藏Spectral super-resolution meets deep learning: Achievements and challenges光谱超分辨率与深度学习相遇: 成就与挑战.png)
INFORMATION FUSION
OAAI
INFORMATION FUSIONIF15.5
OAAI分享收藏Superpixel-based 3D deep neural networks for hyperspectral image classificationPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Exploring low-resource medical image classification with weakly supervised prompt learning基于弱监督即时学习的低资源医学图像分类研究PATTERN RECOGNITIONOAAI
PATTERN RECOGNITIONIF7.6
OAAI分享收藏SENSE: Hyperspectral video object tracker via fusing material and motion cuesINFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏A Transformer-based visual object tracker via learning immediate appearance change通过学习即时外观变化的基于Transformer的视觉对象跟踪器PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Multi-schema prompting powered token-feature woven attention network for short text classification用于短文本分类的多模式提示powered token-feature编织注意力网络PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容