返回
Conditional Modeling-Based Automatic Video Summarization
DOI:10.1145/3786783.png)
摘要
En 中文
视频摘要的目的是在自动缩短视频的同时保留传达整体故事所需的关键信息。视频摘要方法主要依赖视觉因素,如视觉连续性和多样性,这可能不足以完全理解视频内容。还有其他非视觉因素,如趣味性、代表性及故事线一致性,也应考虑以生成高质量的视频摘要。现有方法未能充分考虑到这些非视觉因素,导致性能欠佳。本研究提出了一种基于人类创建真实视频摘要方法的新视频摘要方法。该方法利用条件建模视角,引入多个有意义的随机变量和联合分布来表征视频摘要的关键组成部分。采用辅助分布来改进模型训练。设计了一个条件注意力模块,以缓解多模态输入可能导致的性能下降。所提出的视频摘要方法融合了上述创新设计选择,旨在缩小人工生成与机器生成视频摘要之间的差距。大量实验表明,所提出的方法优于现有方法,并在常用视频摘要数据集上达到了最先进性能。
Keyword:
Video Summarization
Conditional Modeling
Visual Factors
Latent Factors
Conditional Graph
期刊
IF:
6
论文数:
2.0K
被引数:
5.4K
机构
引用论文
Spatiotemporal Modeling for Video Summarization Using Convolutional Recurrent Neural Network
IEEE ACCESS
IF3.6

