.png){kind=icon}
返回
RVAIC: Refined visual attention for improved image captioning
.png){kind=icon}
PRE
AI
DOI：10.3233/jifs-233004.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉注意力已成为提升图像描述有效性的重要方法，因为它能使解码器网络有选择地聚焦于图像内容中最显著区域，从而促进生成精确且信息丰富的描述。尽管视觉注意力实现了性能提升，但其输入的小数值对softmax函数产生负面影响，降低了其有效性。为解决此限制，我们提出了一种改进的视觉注意力（RVA）框架，通过利用先前生成词语的语言上下文对视觉注意力进行内部权重调整。我们首先将语言上下文输入全连接层，以获得与视觉特征相匹配的维度；随后，利用sigmoid函数获取概率分布，并通过乘法过程对softmax的输入进行重新加权。在MS COCO数据集上的实验表明，RVA在性能上优于传统视觉注意力及其他现有图像描述方法，凸显了其在提升图像描述准确性和信息量方面的有效性。
期刊
暂无期刊信息
机构
暂无机构信息
引用论文
暂无论文信息