.png){kind=icon}
返回
Key features-guided Multi-View Collaborative Network for image captioning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2025.107814.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多视角融合显著推动了图像描述生成任务的发展。然而，这一融合过程中引入的语义噪声构成了挑战，限制了性能的进一步提升。为克服该挑战，我们提出了一种关键特征引导的多视角协作网络（KMCN），这是一种新颖的方法，能够在关键句子预测步骤（包括特征增强和跨模态语义对齐）中实现多视角的互补优势并最小化语义噪声。具体而言，我们在特征增强阶段引入了关键特征引导的增强与融合编码器（KAFE），该编码器采用关键特征提供必要的互补信息，有助于生成精细的多视角特征表示，同时减少由无意义交互引入的潜在语义噪声。随后，我们在跨模态语义对齐阶段引入了双分支协作解码器（DCD），通过交叉引导的双分支模块建模跨模态关系。该设计旨在解码过程中将复杂的多元视角特征空间分解为多个相对简单的子空间，有助于避免因扭曲映射导致的语义噪声。为验证KMCN的性能，我们在高度竞争的Microsoft Common Objects in Context（MS-COCO）基准数据集上进行了大量实验。结果表明，我们的KMCN在离线和在线测试中均超越了多个当前最先进的图像描述生成模型。
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
暂无机构信息
引用论文
.png){kind=icon}
Graph Regularized and Feature Aware Matrix Factorization for Robust Incomplete Multi-View Clustering
PREAI
分享收藏
查看更多内容