.png){kind=icon}
返回
JMSC: Joint Spatial–Temporal Modeling with Semantic Completion for Audio–Visual Learning
.png){kind=icon}
OA
AI
DOI：10.3390/s26041288.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视听学习旨在通过整合听觉和视觉线索来实现对场景的整体理解。早期研究主要关注对预训练模型的全面微调，这带来了高昂的计算成本。因此，近期研究采用了参数高效的调优方法，以将大规模视觉模型适配到视听领域。尽管现有方法表现出有竞争力的性能，但仍存在若干挑战。首先，有效利用音频和视觉模态之间的互补语义仍然困难，因为这两种模态捕捉了视频在本质上不同的方面。其次，理解动态视频上下文具有挑战性，因为物体的空间属性（如尺度）和时序特征（如运动）随时间协同演化，使得语义理解更为复杂。为应对这些挑战，我们提出了一种新型框架，命名为联合空间–时序建模与语义补全（JMSC）。JMSC引入了跨模态潜在重建，通过鼓励模型从另一模态的掩码版本中重建其完整语义摘要，超越了浅层相关性。此外，JMSC在音频引导下联合建模视频的空间属性和时序变化，学习统一表示，从而能够在动态视频场景中实现准确定位和一致跟踪。实验结果表明，JMSC在多个下游任务上实现了最先进的性能，同时保持了高计算效率。
Keyword:
multimodal fusion
audio–visual learning
deep learning
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
3.5
论文数:
7.2W
被引数:
20.9W
机构
引用论文
分享收藏Towards Efficient Audio-Visual Learners via Empowering Pre-trained Vision Transformers with Cross-Modal Adaptation通过跨模态适应赋能预训练视觉Transformer，实现高效视听学习者
PREAI
分享收藏AVaTER: Fusing Audio, Visual, and Textual Modalities Using Cross-Modal Attention for Emotion RecognitionAVaTER：基于跨模态注意力机制融合音频、视觉和文本模态的情感识别.png)
SENSORSOAAI
SENSORSIF3.5
OAAI分享收藏Novel Method for Detecting Coughing Pigs with Audio-Visual Multimodality for Smart Agriculture MonitoringSENSORSOAAI
SENSORSIF3.5
OAAI分享收藏
查看更多内容