.png){kind=icon}
返回
Exploiting EfficientSAM and Temporal Coherence for Audio-Visual Segmentation
.png){kind=icon}
PRE
AI
DOI：10.1109/TMM.2025.3557637.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
音频-视觉分割 (AVS) 旨在精确识别和分割视频内容中的声源，要求对视觉和音频线索进行细粒度的语义理解。虽然 Segment Anything Model (SAM) 在各种分割任务中表现出色，但其设计主要针对单图像分割，采用点、框和掩码提示。因此，当 SAM 直接应用于 AVS 时，难以有效利用音频数据中的上下文信息并捕捉视频帧间的时序相关性。此外，其高计算需求对 AVS 应用的实际可行性构成挑战。本文提出 ESAM-AVS，一种基于 EfficientSAM 的新框架，旨在将 SAM 的先验知识迁移到 AVS 领域。具体而言，我们使用 EfficientSAM 作为骨干网络以保持模型适应性，同时显著降低计算和处理成本。为应对时序和音频-视觉相关性的挑战，我们设计了跨帧一致性模块，该模块独立整合视觉和音频模态的时序信息。此外，我们引入音频引导的提示编码器，生成音频提示以提供指导，有效将音频线索整合到分割过程中。通过结合这些组件，我们的模型最大限度地发挥了 SAM 先验知识的潜力，并将其适配到更复杂的 AVS 任务。在 AVSBench 数据集上的大量实验表明，ESAM-AVS 超越了现有最先进的方法。
Keyword:
Audio-visual segmentation
video segmentation
multi-modal
segment-anything model
期刊
IF:
9.7
论文数:
4.6K
被引数:
2.4W
机构
引用论文
.png){kind=icon}
分享收藏Bootstrapping Audio-Visual Video Segmentation by Strengthening Audio Cues通过加强音频线索引导视听视频分割的引导式训练
PREAI
分享收藏分享收藏
查看更多内容