Multiple Modalities Image Matching With Large-Scale Pre-Training

Xingyi He

doi:10.1109/tpami.2026.3724652

Multiple Modalities Image Matching With Large-Scale Pre-Training

2026-08-17

0

PRE

AI

DOI：10.1109/tpami.2026.3724652

原文链接

原文求助

摘要

En 中文

图像匹配旨在识别图像间的对应像素位置，在众多科学领域中至关重要，有助于图像配准、融合和分析。然而，在处理不同成像模态下拍摄的图像（导致外观显著变化）时，基于学习的图像匹配算法的性能常因跨模态标注训练数据的匮乏而下降。这一限制阻碍了依赖多模态图像获取互补信息的多个领域应用。为应对此挑战，我们提出了一种大规模预训练框架，利用合成跨模态训练信号，整合来自不同来源的多样化数据，以使模型学习识别和匹配图像间的基元结构。该能力可迁移至真实世界、未见过的跨模态图像匹配任务。我们的关键发现是，使用该框架训练的匹配模型能有效泛化至超过八个未见过的跨模态配准任务，使用同一套网络权重，显著优于现有通用方法，并在多个任务上达到或优于专用模型的性能。

Keyword:

Image matching

multi-modal

pre-training

transformer

Multiple Modalities Image Matching With Large-Scale Pre-Training

摘要

期刊

机构

引用论文