.png){kind=icon}
返回
Attention-supervised transformer for grounded image captioning
.png){kind=icon}
PRE
AI
DOI：10.1007/s00530-026-02684-1.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像字幕生成，涉及为给定图像生成自然语言字幕，代表了一项极具挑战性的任务，并已应用于医学报告和新闻文章生成等多个领域。尽管引入注意力机制显著提升了图像字幕生成模型的性能，但图像区域与描述性词语之间的对齐往往仍缺乏约束，导致字幕不精确。在本文中，我们提出了一种基于Transformer的词性标注增强堆叠交叉注意力网络（POS-SCAN-T），旨在通过利用注意力监督模块（ASM）的注意力权重来指导解码过程，从而改进基于图像的字幕生成。在模型训练之前，我们首先通过整合视觉编码模块（VEM）提取的区域特征与文本嵌入模块（TEM）编码的文本特征来构建ASM，该模块学习面向对齐的注意力权重。随后，引入精化编码模块（REM）以进一步精化区域特征。在解码过程中，学习的注意力权重被用于监督精化后的区域特征与词性过滤后的文本特征之间的对齐。在Flickr30k Entities和MS COCO基准测试上的实验表明，POS-SCAN-T在部分指标上与当代图像字幕生成方法具有竞争力。与基线相比，我们的模型在两个数据集上的CIDEr分数分别实现了2.1%和3.5%的相对提升，同时SPICE分数也稳定提升了1.2%，从而明确证实了所提出改进的有效性。
Keyword:
Image captioning
Region-word alignment
Cross-attention
Similarity
Visual grounding
期刊
IF:
3.1
论文数:
2.8K
被引数:
2.7K
机构
引用论文
VTIENet: visual-text information enhancement network for image captioning.png)
MULTIMEDIA SYSTEMS
MULTIMEDIA SYSTEMSIF3.1
PREAI
分享收藏GVA: guided visual attention approach for automatic image caption generationMULTIMEDIA SYSTEMS
MULTIMEDIA SYSTEMSIF3.1
PREAI
分享收藏ICEAP: An advanced fine-grained image captioning network with enhanced attribute predictorDISPLAYS
DISPLAYSIF3.4
PREAI
分享收藏
Cross modification attention-based deliberation model for image captioningAPPLIED INTELLIGENCE
APPLIED INTELLIGENCEIF3.5
PREAI
分享收藏
ARAFNet: An attribute refinement attention fusion network for advanced visual captioningARAFNet：一种用于高级视觉字幕生成的属性细化注意力融合网络
PREAI
分享收藏Dual-stage pixel transformer with enhanced visual context for image captioning双阶段像素变换器，带有增强视觉上下文用于图像描述生成Multimedia Systems
Multimedia SystemsIF3.1
PREAI
分享收藏
查看更多内容