Enhanced Video Super-Resolution Method Using U-Net-Based Spatial Transformer Module

Yooho Lee

doi:10.1109/TCSVT.2026.3665528

Enhanced Video Super-Resolution Method Using U-Net-Based Spatial Transformer Module

2026-02-17

0

PRE

AI

DOI：10.1109/TCSVT.2026.3665528

原文链接

原文求助

摘要

En 中文

视频超分辨率（VSR）旨在通过利用连续低分辨率（LR）帧间的时空相关性，从低分辨率输入重建高分辨率（HR）视频。尽管深度学习的最新进展，特别是基于Transformer的架构，显著提升了VSR性能，但保持时空一致性仍是一个关键挑战。为解决此问题，我们提出了一种基于U-Net的空间变换模块（USTM），可无缝集成到现有VSR框架的重建阶段。所提出的USTM结合了空间变换器与U-Net结构，用于提取细粒度时空特征，以增强复杂运动和纹理模式的重建。进行了广泛的消融研究以确定最优配置并验证每个USTM组件的贡献。在性能评估中，USTM被整合到多种代表性的VSR方法中。实验结果表明，在包括REDS、Vimeo-90K和Vid4在内的基准数据集上，集成USTM始终提升了PSNR和SSIM分数。此外，视觉对比凸显了所提方法相对于未集成USTM的基线VSR方法的优势，特别是在高频区域。

Keyword:

Video super-resolution

deep neural network

convolution neural network

U-Net

spatial transformer

Enhanced Video Super-Resolution Method Using U-Net-Based Spatial Transformer Module

摘要

期刊

机构

引用论文