Selective Prototype Aggregation for Remote Sensing Few-Shot Semantic Segmentation

Kun Liu

doi:10.1109/TGRS.2025.3612893

Selective Prototype Aggregation for Remote Sensing Few-Shot Semantic Segmentation

2025-01-01

0

PRE

AI

DOI：10.1109/TGRS.2025.3612893

原文链接

原文求助

摘要

En 中文

少样本语义分割（FSS）在遥感影像中仍然具有挑战性，这是由于复杂场景、大尺寸图像、频繁的多类共存以及显著的类内变化等因素。这些因素通常会导致对基类产生严重的过拟合，并阻碍对新颖类的泛化。为解决这些问题，我们提出了一种带有选择性原型聚合（SPA）的Mamba增强型Transformer（MET）框架，该框架同时抑制基类干扰并增强新颖类表示。具体而言，动态特征聚合（DFA）模块整合来自基类学习器和元学习器的特征，有效增强类间区分度，并在多类共存场景中缓解特征污染。我们进一步引入MET框架，该框架结合Mamba模块和Transformer自注意力机制，以捕捉长距离依赖关系和多尺度上下文，同时保持低计算复杂度。Mamba模块独立提取支持集和查询集特征，防止分支间干扰并提高鲁棒性。通过选择性地聚合支持集原型与查询自支持原型，SPA增强了特征判别力，并利用查询特定的上下文线索来降低类内方差。我们的模型在多个数据集上展现出优异性能，在iSAID数据集上达到50.49%的平均交并比（mIoU），在LoveDA数据集上达到30.82%，分别比基线模型提升了3.95%和3.89%。消融实验进一步验证了SPA的卓越性能。

Keyword:

Few-shot learning

few-shot semantic segmentation

prototype learning

remote sensing

semantic segmentation

Selective Prototype Aggregation for Remote Sensing Few-Shot Semantic Segmentation

摘要

期刊

机构

引用论文