返回
Module-Pruning-Based Neural Architectural Search for Remote Sensing Image Captioning
DOI:10.1109/LGRS.2025.3593475.png)
摘要
En 中文
遥感图像字幕生成(RSIC)已因其通过文本描述增强航空影像可解释性而引起广泛关注。传统方法采用卷积神经网络(CNN)进行视觉特征提取,并与循环神经网络(RNN)或Transformer结合用于字幕生成。然而,这些架构存在高复杂度和计算成本问题。尽管通过网络剪枝的神经架构搜索(NAS)已得到广泛研究,但针对RSIC系统的模块化剪枝仍鲜有探索。我们提出了一种新颖的专用解码器剪枝方法——一种面向端到端编码器-解码器架构适配的模块化剪枝方法。该方法包含两项关键创新:1)对预训练的ResNet编码器和Transformer编码器-解码器组件进行结构化剪枝;2)采用基于交叉熵的字幕匹配策略替代解码器最终层的常规预测训练。所提方法能够在不牺牲性能的前提下,同时提升推理效率并减少存储需求。经RSICD数据集上的CIDEr、ROUGE、METEOR、双语评估替代(BLEU)和Sm指标评估,该方法实现了42.8%的模型尺寸缩减,同时提高了准确率,在高效RSIC领域建立了新的基准。
Keyword:
Model complexity
module-pruning
multimodal
neural architecture search (NAS)
remote sensing image captioning (RSIC)
transformer
期刊
IF:
16.4
论文数:
1.0W
被引数:
5.1K
机构
引用论文
Interacting-Enhancing Feature Transformer for Cross-Modal Remote-Sensing Image and Text Retrieval用于跨模态遥感图像和文本检索的交互增强特征转换器

