.png){kind=icon}
返回
Temporal-Aware Dynamic Memory Modulation for Audio-Visual Segmentation
.png){kind=icon}
PRE
AI
DOI：10.1109/tmm.2026.3714591.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视听分割（AVS）旨在通过联合利用视频中的视觉和音频线索生成发声物体的像素级掩码。尽管基于Segment Anything Model 2（SAM2）的近期AVS方法已取得有前景的结果，但它们仍存在两个主要问题：（1）由声学变异性引起的帧间语义不一致性；（2）由于过度依赖历史上下文，难以处理频繁移动的声源。为解决这些问题，我们提出了一个用于AVS任务的动态记忆调制框架，称为DMM-AVS。该框架集成了两个精心设计的模块，即时序记忆增强（TME）模块和音频-语义门控（ASG）模块。具体而言，TME模块结合时序自注意力与缓存记忆机制，以确保发声物体在时间上的语义一致性。同时，ASG模块自适应地调节记忆库中存储的历史预测对当前输出的影响，增强对频繁移动声源的感知。在包括AVS-Object-MS3、AVS-Object-S4、AVSS-V2-Binary和AVSS在内的四个AVS基准测试上的大量实验表明，DMM-AVS达到了最先进性能，在不同场景下提供了更高的准确性和更优的一致性。
Keyword:
Audio visual segmentation
audio visual semantic segmentation
multi-modality
期刊
IF:
9.7
论文数:
5.2K
被引数:
2.9W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容