.png){kind=icon}
返回
A Lightweight Transformer Network for Hyperspectral Image Classification
.png){kind=icon}
PRE
AI
DOI：10.1109/TGRS.2023.3297858.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
Transformer是捕获远程依赖性的强大工具，并且在高光谱图像 (HSI) 分类中显示出令人印象深刻的性能。然而，这种能力伴随着沉重的存储器占用和巨大的计算负担。在本文中，我们提出了两种类型的轻量级自注意模块 (通道轻量级多头自注意 (CLMSA) 模块和位置轻量级多头自注意 (PLMSA) 模块)，以减少内存和计算量，同时将每个像素或通道与全局信息相关联。此外，我们发现，由于固定的输入大小，变压器在显式提取局部和多尺度特征方面是无效的，并且在处理少量训练样本时往往会过度拟合。因此，提出了一种使用建议的轻量级自我注意模块构建的轻量级变压器 (LiT) 网络。LiT采用卷积块来显式提取早期层中的局部信息，并采用变压器来捕获深层中的远程依赖关系。此外，我们设计了一种受控多类分层 (CMS) 采样策略，以生成适当大小的输入数据，确保平衡采样，并减少训练样本和测试样本之间特征提取区域的重叠。通过适当的训练数据，卷积标记化和LiTs，LiT可以缓解过度拟合，并具有较高的计算效率和良好的性能。在多个HSI数据集上的实验结果验证了我们设计的有效性。
Keyword:
Deep learning (DL)
hyperspectral image (HSI) classification
transformer
期刊
IF:
8.6
论文数:
2.1W
被引数:
10.7W
机构
引用论文
Inflexibility of mental planning: A characteristic disorder with prefrontal lobe lesions?心理计划的僵化: 前额叶病变的特征性障碍？
PREAI
分享收藏Candidate .gamma.-Secretases in the Generation of the Carboxyl Terminus of the Alzheimer's Disease .beta.A4 Amyloid: Possible Involvement of Cathepsin D候选人。Γ-分泌酶在阿尔茨海默氏病羧基末端的产生。Β.A4淀粉样蛋白: 组织蛋白酶D可能参与.png)
Biochemistry
BiochemistryIF0
PREAI
分享收藏Beyond the Patchwise Classification: Spectral-Spatial Fully Convolutional Networks for Hyperspectral Image Classification超越Patchwise分类: 用于高光谱图像分类的光谱空间完全卷积网络
PREAI
分享收藏MSTNet: A Multilevel Spectral-Spatial Transformer Network for Hyperspectral Image ClassificationMSTNet: 用于高光谱图像分类的多级光谱-空间变换器网络
PREAI
分享收藏Energy-Efficient Robot Configuration and Motion Planning Using Genetic Algorithm and Particle Swarm Optimization基于遗传算法和粒子群算法的节能机器人配置和运动规划Energies
OAAI
EnergiesIF0
OAAI分享收藏Girls on the Run: Impact of a Physical Activity Youth Development Program on Psychosocial and Behavioral Outcomes奔跑的女孩: 体育活动青年发展计划对心理社会和行为结果的影响
OAAI
OAAI分享收藏
查看更多内容