.png){kind=icon}
返回
Text-Conditional Visual-Language Alignment for Video Captioning
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3616201.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视频字幕生成仍然是一个具有挑战性的任务，这归因于视频内容的多样性和视觉与文本元素之间复杂的关系。近期的研究主要聚焦于使用配对视频-字幕数据进行训练的多模态架构设计。然而，学习范式受制于“一对多”对应问题，因为一个源视频会被映射到多个字幕标注。视频字幕生成的难度进一步因低质量字幕而加剧，这些字幕通过无关信息误导字幕生成器。本质上，该问题源于视频与字幕之间的对齐不足。在本研究中，我们提出了文本条件对齐Transformer（Text-Conditional Alignment Transformer），该模型充分利用多样化标注字幕提供的丰富信息，并避免标签歧义和噪声的影响。为缓解“一对多”对应挑战，我们引入了文本条件视频编码（Text-conditioned Video Encoding），通过强调与给定描述相关的时空视觉区域，同时过滤冗余视觉信息，来丰富视频表示。这种精炼的视频表示与对应文本描述良好对齐，并自然地将“一对多”映射转换为“一对一”映射。为处理嘈杂标注，我们提出了质量感知字幕解码（Quality-aware Caption Decoding）。我们首先以无参考方式动态衡量同一视频对应的不同字幕的质量，然后将估计的质量用作辅助信号，引导模型从嘈杂字幕中进行质量对齐学习。我们在MSR-VTT、MSVD、VATEX和ActivityNet-Entities数据集上进行了大量实验，并展示了相较于当前最优方法的性能一致性提升。
Keyword:
Video captioning
“one-to-many” correspondence
spatial-temporal alignment
caption quality assessment
期刊
IF:
11.1
论文数:
869
被引数:
3.1W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容