.png){kind=icon}
返回
DMFormer: Dense Memory Linformer for Image Captioning
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14091716.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像描述生成是计算机视觉和自然语言处理领域的交叉任务，旨在用自然语言描述图像内容。现有方法在建模图像区域的空间位置和语义相关性方面仍存在不足。此外，这些方法通常表现出图像特征与文本特征之间的交互不足。为解决这些问题，我们提出了一种基于Linformer的图像描述生成方法——用于图像描述的密集记忆Linformer（DMFormer），其时间和空间复杂度低于传统Transformer架构。DMFormer包含两个核心模块：关系记忆增强编码器（RMAE）和密集记忆增强解码器（DMAD）。在RMAE中，我们提出了关系记忆增强注意力（RMAA），它结合了显式空间感知和隐式空间感知。它显式地利用几何信息来建模图像区域间的几何相关性，并隐式地构建记忆单元矩阵以学习图像区域特征的空间信息。在DMAD中，我们引入了密集记忆增强交叉注意力（DMACA）。该模块通过密集连接充分利用RMAE生成的高低层特征，并构建记忆单元存储图像和文本的先验知识。它通过自适应门控机制学习视觉和语言特征间的跨模态关联。在MS-COCO数据集上的实验结果表明，DMFormer生成的描述更丰富且准确，相比主流方法在各项评估指标上均有显著提升。
Keyword:
image captioning
Linformer
relation memory augmented attention
dense memory augmented cross attention
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
暂无机构信息
引用论文
GVA: guided visual attention approach for automatic image caption generation.png)
MULTIMEDIA SYSTEMS
MULTIMEDIA SYSTEMSIF3.1
PREAI
分享收藏Hybrid Deep Learning EfficientNetV2 and Vision Transformer (EffNetV2-ViT) Model for Breast Cancer Histopathological Image Classification用于乳腺癌组织病理图像分类的混合深度学习EfficientNetV2和视觉转换器 (EffNetV2-ViT) 模型IEEE ACCESSOAAI
IEEE ACCESSIF3.6
OAAI分享收藏
查看更多内容