.png){kind=icon}
返回
Contrastive Conditional Latent Diffusion for Audio-Visual Segmentation
.png){kind=icon}
OA
AI
DOI：10.1109/TIP.2025.3580269.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
音频-视觉分割（AVS）被概念化为一个条件生成任务，其中音频被视为分割声源的条件变量。在这种情况下，应深入探索音频以最大化其对最终分割任务的贡献。我们提出了一种对比条件隐式扩散模型用于音频-视觉分割（AVS），以全面研究音频的影响，其中音频与最终分割图之间的相关性被建模，以确保它们之间的强相关性。为实现在语义相关的表示学习，我们的框架引入了隐式扩散模型。扩散模型学习地面真实分割图的条件生成过程，导致在测试阶段去噪过程中获得地面真实感知的推理。由于我们的模型是条件性的，确保条件变量对模型输出做出贡献至关重要。因此，我们通过最小化多模态数据（例如基于音频-视觉数据）和单模态数据（例如仅基于音频数据）的条件概率之间的密度比，来深入建模音频信号的贡献。通过这种方式，我们的隐式扩散模型通过密度比优化明确最大化音频对AVS的贡献，这随后可以通过对比学习作为约束来实现，其中扩散部分作为实现最大似然估计的主要目标，而密度比优化部分施加约束。通过采用这种通过对比学习的隐式扩散模型，我们有效地增强了音频对AVS的贡献。我们的解决方案的有效性通过基准数据集上的实验结果得到验证。代码和结果可通过我们的项目页面在线获取：https://github.com/OpenNLPLab/DiffusionAVS
Keyword:
Audio-visual segmentation
conditional latent diffusion model
contrastive learning
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
.png){kind=icon}
查看更多内容