DeepVCA: Deep Video Complexity Analyzer

Hadi Amirpour

doi:10.1109/tcsvt.2024.3382366

DeepVCA: Deep Video Complexity Analyzer

2024-01-01

0

OA

AI

DOI：10.1109/tcsvt.2024.3382366

原文链接

查看原文

摘要

En 中文

视频流及其应用正快速增长，使得视频优化成为内容提供商提升服务质量的主要目标。提升视频质量需要调整不同的编码参数，如码率、分辨率和帧率。为避免暴力搜索方法来预测最优编码参数，通常提取并利用视频复杂度特征。内容提供商传统上使用无监督特征提取方法，如ITU-T的空间信息（SI）和时间信息（TI）来表示视频序列的空间和时间复杂度。近期，视频复杂度分析器（VCA）被引入用于提取基于DCT的特征以表示视频序列（或其部分）的复杂度。然而，这些无监督特征无法准确预测视频编码参数。为解决此问题，本文提出了一种新颖的有监督特征提取方法DeepVCA，该方法使用深度神经网络提取视频序列的空间和时间复杂度。在此方法中，编码每一帧所需的帧内模式和帧间模式的编码比特数分别作为空间和时间复杂度的标签。首先，我们基准测试了多种深度神经网络结构以预测空间复杂度。然后，利用当前帧及其前一帧用于预测空间复杂度的特征相似性，快速预测时间复杂度。这种方法特别有用，因为时间复杂度可能不仅取决于两连续帧之间的差异，还取决于它们的空間复杂度。我们提出的方法在无监督方法上表现出显著改进，尤其在时间复杂度方面。作为示例应用，我们验证了这些特征在预测视频序列的编码码率和编码时间方面的有效性，这些是视频流中的关键任务。源代码和数据集可在https://github.com/cd-athena/DeepVCA获取。

Keyword:

Video complexity analysis

Deep learning

Feature extraction

Video encoding

Bitrate prediction

DeepVCA: Deep Video Complexity Analyzer

摘要

AI总结

期刊

机构

引用论文