.png){kind=icon}
返回
MRFGNet: Multiscale Reference Frame Generation Network for VVC Inter-Coding
.png){kind=icon}
PRE
AI
DOI：10.1145/3750049.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
由于参考帧的质量对VVC帧间编码至关重要，基于神经网络（NN）的参考帧生成旨在从解码图像缓冲区（DPB）中的两个解码帧生成质量更好的参考帧，并将其插入参考图像列表（RPL）以用于帧间预测。然而，直接将视频帧插值或外推应用于参考帧生成存在困难，因为压缩伪影会严重降低生成参考帧的质量。本文提出了一种用于VVC帧间编码的多尺度参考帧生成网络，命名为MRFGNet。为减少压缩伪影，MRFGNet采用由JVET发布的作为帧增强预处理的高性能操作点（HOP）网络。与需要多个输入的HOP环路滤波器不同，MRFGNet仅将重建帧和量化参数（QP）图作为HOP网络的输入。此外，提出了一种帧生成网络，基于方向光流进行精确运动估计。因此，在RA和LDB配置下，MRFGNet采用相同架构实现双向和单向预测。MRFGNet以相同维度在多尺度估计光流，从而利用尺度无关的双向光流预测。设计了一个光流变形与融合模块，用于处理两个级联的U-Net的光流特征图并获取两帧，最终将两帧融合生成参考帧。此外，采用基于QP距离的新型训练策略优化MRFGNet，以使用更高质量的压缩数据作为训练标签。实验结果表明，在RA和LDB配置下，MRFGNet相较于VTM_11.0-NNVC_4.0基准，实现了平均BD码率变化{−5.10%（Y）、−12.14%（U）、−11.51%（V）}和{−5.98%（Y）、−15.32%（U）、−14.22%（V）}，同时相较于当前最佳参考帧生成方法JVET-AD0160，在RA和LDB配置下分别提升了{0.78%（Y）、1.42%（U）、1.44%（V）}和{2.82%（Y）、4.92%（U）、6.62%（V）}。
.png){kind=icon}
