Depth Map-Assisted Learned Video Compression

Xihua Sheng

doi:10.1109/tmm.2026.3713783

2026-07-15

PRE

DOI：10.1109/tmm.2026.3713783

原文链接

摘要

En 中文

现代智能手机和自动驾驶系统通常配备同位置的视觉和深度传感器，可捕获同步的RGB视频和深度图。在这些双模态传输场景中，RGB视频和深度图均需压缩和传输，深度图可提供明确的3D场景几何先验，为提升RGB视频压缩效率提供了显著但尚未充分开发的潜力。现有跨模态压缩方法主要依赖图像变换网络中的隐式特征融合，将辅助数据视为附加特征源，而非利用其物理意义。与此不同，本文提出一种基于深度图辅助的端到端视频压缩框架，超越了隐式融合，转向新范式：系统性地将深度几何先验作为显式物理约束整合到视频特定核心模块中。首先，我们提出一种基于分层视差变形的多假设上下文预测（LDMCP）方法，该方法从深度图生成多个互补视差假设，用于组间特征变形，解决了常规光流在深度变化区域进行时序预测的局限性，有效提升了预测精度。其次，我们提出一种深度引导的上下文聚合（DGCA）方法，利用深度图对预测上下文的可靠性判定施加物理约束，从而将其作为智能上下文聚合的线索。第三，我们提出一种深度感知的运动和上下文熵模型（DMEM/DCEM），利用深度图作为条件先验，增强对运动和上下文潜在表示的概率估计。实验结果表明，所提方法在不同深度图压缩条件下（无损、近无损、有损）均能有效提升RGB视频的压缩性能。通过建立首个将显式几何先验系统性地注入上下文预测、上下文聚合和熵建模的深度辅助视频压缩框架，本研究为具备深度视觉系统的跨模态视频压缩引入了新范式。

Keyword:

Depth map

deep learning

multi-modality

video compression