.png){kind=icon}
返回
Audio-Guided Video Scene Editing
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-025-02640-y.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文介绍了基于音频引导的视频场景编辑，一项能够根据音频输入动态修改视频背景同时保持前景完整性的新任务。为解决这一挑战，我们提出了AudioScenic框架，旨在实现四个核心目标：将音频语义融入视频场景、保持前景视觉稳定性、确保音频条件与视觉变化的同步，以及维持视频的全局时序一致性。AudioScenic的核心机制为时序感知的音频语义注入，能够有效将音频条件整合至视频背景。为防止前景元素产生不必要扭曲，我们引入了SceneMasker，确保编辑过程中前景不受影响。此外，AudioScenic包含两个关键组件：Magnitude Modulator用于强化听觉与视觉元素在时序上的同步性，Frequency Fuser则利用音频与视频固有的频率关联性来增强时序连贯性。凭借这些创新，AudioScenic能够生成视觉多样且无缝同步的视频场景，在适应给定音频的同时保持帧间平滑过渡。此外，我们提出了新的评价指标Semantic-Temporal Consistency Score（STC-Score），以更全面地衡量视频场景编辑中的时序一致性。实验结果表明，AudioScenic显著优于现有方法，成为同步视频场景编辑的可靠解决方案。
期刊
IF:
9.3
论文数:
4.0K
被引数:
2.8W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容