Toward Resolution Mismatching: Modality-Aware Feature-Aligned Network for Pan-Sharpening

Man Zhou

doi:10.1109/TPAMI.2025.3594898

Toward Resolution Mismatching: Modality-Aware Feature-Aligned Network for Pan-Sharpening

0

PRE

AI

DOI：10.1109/TPAMI.2025.3594898

原文链接

原文求助

摘要

En 中文

全色（PAN）和多光谱（MS）遥感卫星图像融合，即全色锐化，旨在通过结合高分辨率、纹理丰富的PAN图像与低分辨率但高光谱分辨率的MS图像的互补信息，生成高分辨率MS图像。尽管该领域取得了显著进展，但当前最先进的全色锐化技术并未explicitly解决PAN和MS图像两种模态之间的空间分辨率不匹配问题。这一问题可能导致特征表示错位以及模型输出中出现模糊伪影，最终阻碍高频纹理的生成并妨碍此类方法的性能提升。为解决上述全色锐化中的空间分辨率不匹配问题，本文提出了一种新颖的模态感知特征对齐全色锐化框架。该框架包括三个主要阶段：模态感知特征提取、模态感知特征对齐和上下文整合图像重建。首先，我们引入半实例归一化策略作为骨干网络，以过滤不一致特征并促进PAN和MS模态间一致特征的提取。其次，设计了一种可学习的模态感知特征插值方法，以有效解决对齐问题。具体而言，将骨干网络提取的特征整合以预测各像素的变换偏移量，从而实现自适应选择定制化上下文信息，并使模态感知特征更加对齐。最后，在交互式偏移校正的上下文中，多阶段信息被聚合以生成可行的全色锐化模型输出。在多个卫星数据集上的大量实验结果表明，所提出的算法在定性和定量方面均优于其他最先进方法，并展现出对真实场景的优异泛化能力。

Keyword:

Pan-sharpening

modality-aware feature-aligning network

Toward Resolution Mismatching: Modality-Aware Feature-Aligned Network for Pan-Sharpening

摘要

期刊

机构

引用论文