A vision explainability method for image captioning using transformer decoder attention maps

Meena Kowshalya

doi:10.1016/j.mex.2025.103744

2025-12-01

Meena Kowshalya *

Suchitra

Rajesh Kumar Dhanaraj *

Dragan Pamučar *

DOI：10.1016/j.mex.2025.103744

原文链接

查看原文

摘要

En 中文

图像描述生成是一个关键任务，它使系统能够为视觉内容生成描述性句子。尽管图像描述生成系统在计算机视觉和自然语言处理的交叉领域蓬勃发展，但这些模型大多作为黑箱运行，很少或没有揭示描述是如何生成的。我们提出了一种新颖的可解释图像描述生成框架，该框架集成了卷积神经网络编码器和Transformer解码器。基于注意力的热图用于解释视觉内容，从而在决策过程中提供透明度。该方法使用BLEU、METEOR、CIDER和SPICE在MS COCO数据集上评估描述质量和可解释性。该方法增强了可靠性和透明度，使其适用于医疗保健、教育、安全、监控和预测等应用。一种可重复的方法，用于将视觉可解释性集成到图像描述生成中，探索Transformer解码器的注意力图。该方法通过解决视觉-语言模型中的透明度差距，为不断增长的可解释人工智能（XAI）领域做出了贡献。平衡性能与可解释性，为更透明和可靠的人工智能系统铺平了道路。

Keyword:

Image captioning

Transformer models

Visual attention maps

Convolutional neural network

Explainable AI