Reconstructing High Quality Raw Video Using Temporal Affinity and Diffusion Prior

W. Y. Han

doi:10.1109/TPAMI.2025.3596623

Reconstructing High Quality Raw Video Using Temporal Affinity and Diffusion Prior

0

PRE

AI

DOI：10.1109/TPAMI.2025.3596623

原文链接

原文求助

摘要

En 中文

由于信息丰富且原始数据分布独特，RAW数据被广泛应用于许多计算机视觉应用中。然而，RAW视频的使用仍然有限，因为数据收集涉及高昂的存储成本。先前的研究尝试使用来自原始RAW帧的小样本元数据从sRGB数据重建RAW帧。然而，这些算法因相机上采样元数据的高计算成本而在RAW视频重建方面存在困难。为解决这些问题，我们提出了一种新的RAW视频重建流程，该流程使用仅一个初始RAW帧作为参考，从sRGB数据反渲染出高质量的RAW视频。具体而言，我们引入了三个新模型来实现这一目标。首先，我们提出了时序关联引导反渲染网络。该网络利用相邻帧之间的时序关联，从之前的RAW像素构建参考RAW图像。前一帧的对应RAW像素提供了关于原始RAW数据分布的有价值信息，有助于当前帧的精确重建。其次，为恢复因相机和前景运动导致的缺失RAW像素，我们充分利用预训练扩散模型的丰富先验信息，提出了RAW填充模型。该模型可以根据对应的sRGB图像和周围的RAW上下文，精确填充RAW图像中的空洞区域。最后，我们提出了一个轻量级内容感知视频剪辑器，可自动调整用于RAW视频重建的剪辑长度，从而平衡存储需求与重建质量。为更好地评估所提出框架在不同设备上的性能，我们引入了首个RAW视频重建基准，该基准包含来自六种类型相机设备且具有挑战性场景的RAW视频。实验结果表明，我们的算法能够在所有场景中准确重建RAW视频。

Keyword:

RAW video

diffusion model

in-painting network

cross-camera RAW video reconstruction

Reconstructing High Quality Raw Video Using Temporal Affinity and Diffusion Prior

摘要

期刊

机构

引用论文