返回
Joint reference frame synthesis and post filter enhancement for Versatile Video Coding
DOI:10.1016/j.jvcir.2025.104433.png)
摘要
En 中文
本文提出了一种针对通用视频编码(VVC)的联合参考帧合成(RFS)和后处理滤波增强(PFE)方法,旨在探索不同基于神经网络的视频编码(NNVC)工具的组合,以更好地利用VVC的分层双向编码结构。RFS和PFE均利用了时空增强网络(STENet),该网络接收两帧带有失真的输入帧,生成两帧失真抑制后的增强帧,并伴随一个中间合成帧。STENet包含两个管道:合成管道和增强管道,分别针对不同目的进行设计。在RFS过程中,两帧重建帧被送入STENet的合成管道,以合成一个与待编码帧相似的虚拟参考帧,该合成帧作为附加参考帧插入到参考帧列表(RPL)中。在PFE过程中,两帧重建帧被送入STENet的增强管道,以减轻其失真和畸变,最终得到失真和畸变降低的增强帧。为降低推理复杂度,我们提出了RFS和PFE的联合推理(JISE),通过单次执行STENet实现。将RFS、PFE和JISE集成到VVC参考软件VTM-15.0中,并在随机访问(RA)配置下协调于一个新颖的时空增强窗口(STEW)中。在RA配置下,所提方法在三个组件上的平均BD-rate(PSNR)分别为-7.34%/-17.21%/-16.65%。
Keyword:
Neural network-based video coding
Versatile Video Coding (VVC)
Inter prediction
Post-processing filter
期刊
IF:
3.1
论文数:
433
被引数:
5.6K
机构
引用论文
Developments in International Video Coding Standardization After AVC, With an Overview of Versatile Video Coding (VVC)
PROCEEDINGS OF THE IEEE
IF25.9

