arrow
返回

Synchronized Multi-Frame Diffusion for Temporally Consistent Video Stylization

delete2025-04-16
delete0
delete
OA
AI
M
Minshan Xie
H
Hanyuan Liu
L
Li, Chengze
T
Tien‐Tsin Wong
DOI:10.1111/cgf.70095delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
文本引导的视频到视频风格化根据文本提示将源视频的视觉外观转换为不同的外观。现有的文本引导图像扩散模型可以扩展用于风格化视频合成。然而,它们难以生成既具有高度详细外观又具有时间一致性的视频。在本文中,我们提出了一种同步多帧扩散框架,以保持视觉细节和时间一致性。帧以同步方式去噪,更重要的是,不同帧的信息从去噪过程开始就被共享。这种信息共享确保了在去噪过程的早期阶段就能达成关于整体结构和颜色分布的共识,以免为时已晚。原始视频的光流作为连接和帧间信息共享的媒介。我们在大量实验中展示了我们方法在生成高质量和多样化结果方面的有效性。与当前最先进的视频编辑方法相比,我们的方法显示出更优越的定性和定量结果。

期刊

Computer Graphics Forum 封面图
Computer Graphics Forum
IF:
2.9
论文数:
565
被引数:
1.1W

机构

M
Monash University
学者数:
5.4W
论文数: 5.4W
被引数: 79
S
Saint Francis University
学者数:
34
论文数: 28
被引数: 109
C
centre for perceptual and interactive intelligence
学者数:
1
论文数: 2
被引数: 0
C
City University of Hong Kong
学者数:
2.3W
论文数: 3.0W
被引数: 6.1W
学者 查看更多机构
引用论文

引用论文

FlowVid: Taming Imperfect Optical Flows for Consistent Video-to-Video SynthesisFlowVid: 优化不完美的光流以实现一致的视频到视频合成
err2024-06-16
err0
PREAI
errFeng Liang; Bichen Wu; Jialiang Wang; Licheng Yu; Kunpeng Li; Yinan Zhao; Ishan Misra; Jia-Bin Huang; Peizhao Zhang; Peter Vajda; Diana Marculescu
err分享
err收藏
Poisson matting
err2004-08-01
err0
PREAI
errJian Sun; Jiaya Jia; Chi-Keung Tang; Heung-Yeung Shum
err分享
err收藏
Imagic: Text-Based Real Image Editing with Diffusion Models
err2023-06-01
err0
errOAAI
errBahjat Kawar; Shiran Zada; Oran Lang; Omer Tov; Huiwen Chang; Tali Dekel; Inbar Mosseri; Michal Irani
err分享
err收藏
Zero-shot Image-to-Image Translation
err2023-07-23
err0
errOAAI
errGaurav Parmar; Krishna Kumar Singh; Richard Zhang; Yijun Li; Jingwan Lu; Jun-Yan Zhu
err分享
err收藏
学者 查看更多内容