.png){kind=icon}
返回
CMAD: Conditional Modeling-Adapter Diffusion for Video Super-Resolution
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-14495-9_9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视频超分辨率（VSR）旨在从低分辨率输入中恢复高分辨率视频，以增强现实世界退化条件下的视觉质量。现有的基于扩散的VSR方法通常依赖于专门设计的网络架构或文本提示作为条件输入，这限制了其灵活性和适用性——尤其是在无法提供显式文本描述的场景中。为应对这一挑战，我们提出了一种条件建模适配器（Conditional Modeling ADapter, CMAD），它能够实现对预训练文本到视频扩散模型在VSR任务中的零修改复用。该适配器通过预训练的视觉Transformer（ViT）和轻量级适配器模块，将低分辨率视频特征转换为伪文本标记，允许这些特征作为编码器隐藏状态注入，从而充当扩散模型中的主要条件接口。与需要重新设计或训练特定任务骨干网络架构的先前方法不同，我们的设计使模型能够通过其原始语言条件接口直接解释视频输入——而无需对预训练的扩散网络进行任何修改。在包括REDS、UDM10和VID4在内的多个VSR基准测试上的实验表明，我们的方法在不依赖文本指导的情况下，实现了与专用超分辨率模型相当的重构性能。此外，CMAD为将大规模预训练扩散模型适配到视频超分辨率任务提供了一种简单高效的解决方案。源代码和模型将发布。
Keyword:
Conditional Modeling Adapter
Video Super-Resolution
Text-to-Video Diffusion Models
期刊
A
IF:
0
论文数:
37
被引数:
0
机构
引用论文
.png){kind=icon}
查看更多内容