MS-VBRVQ: Multi-scale variable bitrate speech residual vector quantization

Qian, Yukun

doi:10.1016/j.specom.2025.103346

2026-02-01

PRE

王明江 (Mingjiang Wang) *

DOI：10.1016/j.specom.2025.103346

原文链接

原文求助

摘要

En 中文

近期语音量化压缩模型采用了剩余向量量化（RVQ）方法。然而，这些模型通常使用固定比特率，在各语音段中按恒定比例分配相同数量的时间帧。这种方法可能导致比特率效率低下，尤其是在音频包含简单段时。为解决此局限，我们将相对重要性图、自适应阈值掩码和梯度估计函数引入RVQ-GAN模型，提出了一种多尺度可变比特率方法。该方法允许根据音频复杂度在不同时间尺度上分配时间帧：对于复杂音频分配更多时间帧，简单段则分配较少。此外，我们提出了对称和非对称解码方法。非对称解码易于实现并无缝集成到系统中，而对称解码在较低比特率下提供更优的音频质量。主观和客观实验表明，与EnCodec相比，我们的两种解码方法在各类语音和歌唱数据集上以略高的计算成本实现了更低的比特率下的优异音频质量。与VRVQ方法相比，我们在更低比特率下实现了相当音频质量，同时降低了计算成本。

Keyword:

Variable bitrate

RVQ

Multi-scale

Importance map