.png){kind=icon}
返回
EDTformer: An Efficient Decoder Transformer for Visual Place Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3559084.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉位置识别（VPR）旨在通过从大型地理标记数据库中检索视觉相似图像来确定查询图像的大致地理位置。为了为每个位置图像获取全局表示，大多数方法通常聚焦于通过使用当前主流架构（如CNN、MLP、池化层和Transformer编码器）从骨干网络提取的深度特征的聚合，而对Transformer解码器关注较少。然而，我们认为其捕捉上下文依赖关系和生成精确特征的能力为VPR任务提供了巨大潜力。为此，我们提出了一种用于特征聚合的高效解码器Transformer（EDTformer），该模型由多个堆叠的简化解码器块组成，随后接两个线性层，直接生成鲁棒且具有判别性的全局表示。具体而言，我们通过将深度特征表述为键和值，以及将一组可学习参数表述为查询来实现这一点。我们的EDTformer能够充分利用深度特征中的上下文信息，然后逐步解码并将有效特征聚合到可学习查询中，以输出全局表示。此外，为了为EDTformer提供更强大的深度特征并进一步提高鲁棒性，我们使用基础模型DINOv2作为骨干网络，并提出了一种低秩并行适应（LoPA）方法来增强其在VPR中的性能，该方法能够以内存高效和参数高效的方式逐步优化骨干网络的中间特征。结果表明，我们的方法不仅在多个基准数据集上优于单阶段VPR方法，还优于添加了具有显著成本的重新排序的两阶段VPR方法。代码将发布于https://github.com/Tong-Jin01/EDTformer。
Keyword:
Visual place recognition
feature aggregation
foundation models
parameter-efficient transfer learning
期刊
IF:
11.1
论文数:
892
被引数:
3.1W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容