.png){kind=icon}
返回
DualSpec: Text-to-Spatial-Audio Generation via Dual-Spectrogram Guided Diffusion Model
.png){kind=icon}
PRE
AI
DOI：10.1109/tmm.2026.3673480.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
文本转音频（TTA），即从文本描述生成音频信号，近年来受到了广泛关注。然而，现有研究仅关注文本到单声道音频的转换。众所周知，在虚拟现实等领域，空间音频比单声道音频提供更沉浸的听觉体验。为解决此问题，我们提出了一种名为DualSpec的文本转空间音频（TTSA）生成框架。具体而言，该框架首先训练变分自编码器（VAEs）以从声事件音频中提取潜在声学表示。然后，针对描述声事件及其方向的文本，该方法利用预训练大型语言模型的编码器将文本转换为文本特征。最后，从潜在声学表示和文本特征训练扩散模型以生成空间音频。在推理阶段，仅需文本描述即可生成空间音频。特别地，为同时提升空间声事件的合成质量和方位角精度，我们提出使用两种声学特征：一种是利于提升合成质量的梅尔频谱图，另一种是利于提升方位角精度的短时傅里叶变换频谱图。我们提供了基于文本提示构建空间音频数据集的流程，用于训练VAEs和扩散模型。同时，我们引入了新的空间感知评估指标以量化生成空间音频记录的方位角误差。实验结果表明，所提出的方法能够生成具有高方向性和事件一致性的空间音频。
Keyword:
Text-to-spatial-audio
audio generation
latent diffusion model
期刊
IF:
9.7
论文数:
4.6K
被引数:
2.4W
机构
引用论文
.png){kind=icon}
Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference OptimizationTango 2：通过直接偏好优化对基于扩散的文本到音频生成进行对齐
PREAI
分享收藏
分享收藏
查看更多内容