arrow
返回

Conditional Modeling-Based Automatic Video Summarization

delete2026-03-01
delete0
PRE
AI
J
Jia-Hong Huang *
C
Chao-Han Huck Yang
P
Pin‐Yu Chen
M
Min-Hung Chen
M
Marcel Worring
DOI:10.1145/3786783delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
视频摘要的目的是在自动缩短视频的同时保留传达整体故事所需的关键信息。视频摘要方法主要依赖视觉因素,如视觉连续性和多样性,这可能不足以完全理解视频内容。还有其他非视觉因素,如趣味性、代表性及故事线一致性,也应考虑以生成高质量的视频摘要。现有方法未能充分考虑到这些非视觉因素,导致性能欠佳。本研究提出了一种基于人类创建真实视频摘要方法的新视频摘要方法。该方法利用条件建模视角,引入多个有意义的随机变量和联合分布来表征视频摘要的关键组成部分。采用辅助分布来改进模型训练。设计了一个条件注意力模块,以缓解多模态输入可能导致的性能下降。所提出的视频摘要方法融合了上述创新设计选择,旨在缩小人工生成与机器生成视频摘要之间的差距。大量实验表明,所提出的方法优于现有方法,并在常用视频摘要数据集上达到了最先进性能。
Keyword:
Video Summarization
Conditional Modeling
Visual Factors
Latent Factors
Conditional Graph

期刊

ACM Transactions on Multimedia Computing Communications and Applications 封面图
ACM Transactions on Multimedia Computing Communications and Applications
IF:
6
论文数:
2.0K
被引数:
5.4K

机构

U
university of amsterdam
学者数:
6.0W
论文数: 5.1W
被引数: 94
G
georgia institute of technology
学者数:
2.2K
论文数: 1.1K
被引数: 0
U
university system of georgia
学者数:
7.3W
论文数: 6.6W
被引数: 101
I
international business machines (ibm)
学者数:
5.7K
论文数: 4.5K
被引数: 4
学者 查看更多机构
引用论文

引用论文

Self-Supervised Learning to Detect Key Frames in Videos
errSENSORS
IF3.5
err2020-12-04
err23
errOAAI
errYan, Xiang; Gilani, Syed Zulqarnain; Feng, Mingtao; Zhang, Liang; Qin, Hanlin; Mian, Ajmal
err分享
err收藏
SPT: Spatial Pyramid Transformer for Image Captioning
err2024-06-01
err0
PREAI
errHaonan Zhang; Pengpeng Zeng; Lianli Gao; Xinyu Lyu; Jingkuan Song; Heng Tao Shen
err分享
err收藏
学者 查看更多内容