.png){kind=icon}
返回
SpectralZero: Text-Driven Spectral–Spatial Alignment for Zero-Shot Hyperspectral Image Classification
.png){kind=icon}
PRE
AI
DOI：10.1109/TGRS.2026.3669516.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近年来，基于深度学习的超光谱图像（HSI）分类方法取得了显著进展。然而，现有方法主要关注训练阶段已见类别的特征建模，而针对未见地物覆盖类别的泛化和迁移机制的探索仍然有限。因此，这些方法在零样本场景下表现出较差的适应性和泛化性能。为解决此挑战，我们提出了一种名为SpectralZero的新型零样本HSI分类框架，该框架利用大型语言模型（LLMs）的强大泛化能力来弥补未见类别语义信息的缺失。此外，我们的框架明确捕捉了空间特征与光谱特征之间的协同关系，以促进从已见类别到未见类别的知识迁移。具体而言，所提出的框架包含两个关键模块：语义提示增强（SPE）和光谱-空间联合提取（SSUE）。SPE利用LLMs生成地物覆盖类别的细粒度语义描述，缓解了未见类别因样本缺乏导致的语义表示不足问题。SSUE引入两个独立分支分别建模空间结构和光谱反射特性，从而增强模型提取联合空间-光谱表示的能力。我们方法的主要优势在于其能够在无需训练或推理阶段任何样本的情况下准确分类未见类别。在多个公开HSI数据集上的实验表明，我们的方法在零样本分类任务中持续优于当前最佳方法，展现出更优的识别精度和泛化性能。代码将在https://github.com/xiayang124/SpectralZero提供。
Keyword:
Cross-modal alignment
hyperspectral image (HSI) classification
zero-shot classification
期刊
IF:
8.6
论文数:
2.2W
被引数:
10.7W
机构
引用论文
.png){kind=icon}
Cluster-space classification: a fast K-nearest neighbour classification for remote sensing hyperspectral data聚类空间分类：一种针对遥感高光谱数据的快速K近邻分类方法
PREAI
分享收藏HyperMLL: Toward Robust Hyperspectral Image Classification With Multisource Label LearningHyperMLL: 通过多源标签学习实现鲁棒的高光谱图像分类
PREAI
分享收藏Zero-Shot Learning—A Comprehensive Evaluation of the Good, the Bad and the Ugly零拍学习 -- 综合评价好、坏、丑
OAAI
OAAI分享收藏
查看更多内容