.png){kind=icon}
返回
Fusing grid and adaptive region features for image captioning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.imavis.2025.105513.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像描述生成旨在为给定图像自动生成语法正确且合理的描述句子。改进特征优化和特征处理对于提升该任务性能至关重要。一种常见方法是利用网格特征和区域特征的互补优势。然而，当前大多数方法在引入区域特征时可能导致训练过程中出现错误引导，并伴随高昂的获取成本以及预先缓存的需求。这些因素影响了图像描述生成任务的有效性和实际应用。为解决这些局限性，本文提出了一种名为“融合网格和自适应区域特征的图像描述生成方法”（FGAR）。FGAR基于提取的网格特征，动态探索给定图像内的伪区域信息。随后，它利用具有不同计算许可的组合计算层进行特征融合，在实现不同模态信息全面交互的同时，保留各模态的独特特征。所得增强型视觉特征为解码器提供了更好的支持，以自回归生成描述给定图像内容的句子。所有过程均集成在一个完全端到端的框架中，便于训练和推理过程，同时实现了令人满意的表现。大量实验验证了所提FGAR方法的有效性。
Keyword:
Image captioning
Grid feature
Adaptive region feature
Transformer
Feature fusion
期刊
IF:
4.2
论文数:
4.1K
被引数:
6.7K
机构
暂无机构信息
引用论文
.png){kind=icon}
Automatic Description Generation from Images: A Survey of Models, Datasets, and Evaluation Measures
OAAI
OAAI分享收藏
查看更多内容