返回
EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training
DOI:10.1109/tcsvt.2026.3684857.png)
摘要
En 中文
利用深度神经网络(DNNs)过拟合特性以提升带宽限制下视频质量的视频传输系统正成为一种趋势。现有方法通过传输过拟合的超分辨率(SR)模型流,用于低分辨率(LR)比特流,以在解码器端重建高分辨率(HR)视频。尽管这些方法显示出有前景的结果,但训练大量视频帧的高昂计算成本限制了其实际应用。为克服这一挑战,我们提出了一种高效的视频SR网络过拟合的补丁采样方法EPS,用于识别视频帧中最具价值的训练补丁。为此,我们首先提出了两种低复杂度的基于离散余弦变换(DCT)的空间-时间特征,以直接衡量每个补丁的复杂度得分。通过分析这些特征的直方图分布,我们将所有可能的补丁分类到不同的簇中,并从具有最高空间-时间信息的簇中选择训练补丁。采样补丁的数量根据视频内容自适应调整,解决了训练复杂度与效率之间的权衡。我们的方法将训练补丁数量减少了75.00%至91.69%,具体取决于分辨率和簇的数量,同时保持高视频质量并显著提高训练效率。我们的方法将补丁采样速度提高了最多82.1倍,相比当前最先进的补丁采样技术(EMT)。
Keyword:
Patch sampling
data overfitting
super resolution
model training
期刊
IF:
11.1
论文数:
888
被引数:
3.1W

