.png){kind=icon}
返回
Video Captioning Method Based on Semantic Topic Association
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14050905.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
为解决基于编码器-解码器的视频字幕生成方法中语义主题在指导视频字幕生成时被忽视的问题，导致视频内容与生成字幕之间存在语义不匹配，提出了一种基于语义主题关联的视频字幕生成方法。该方法的核心在于设计的语义主题模块，能够捕获视频中物体和动作的更详细主题信息，并建立视频表征与语义主题之间的桥梁，从而选择性地指导视频描述的生成。在解码阶段，采用了优化的NGPT核采样解码策略，基于Top-P核采样构建NGPT模型，联合解码语义信息并生成字幕。该模型充分利用视频中的主题信息，缩小了语义差距，缓解了解码过程中的冗余问题，使生成的文本描述更符合视频的主题内容。最终，在两个公开可用的数据集MSVD和MSR-VTT上进行了实验。结果表明，所提出的方法优于多种领先方法，在MSVD数据集上分别实现了BLEU4提升5.3%、METEOR提升3.1%、ROUGE_L提升2.4%和CIDEr提升13.1%，在MSR-VTT数据集上分别提升了0.9%、0.4%、1.5%和3.3%。因此，基于语义主题关联的视频字幕生成方法能够提取更多主题信息，从而提高视频字幕生成的有效性。
Keyword:
video captioning
semantic topic
encoder-decoder model
Top-P nucleus sampling algorithm
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
引用论文
A semi-supervised deep learning image caption model based on Pseudo Label and N-gram基于伪标签和n-gram的半监督深度学习图像描述模型
PREAI
分享收藏
分享收藏Enhancing the alignment between target words and corresponding frames for video captioning.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容