.png){kind=icon}
返回
Multi-Relation Learning Network for audio-visual event localization
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2024.112925.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在视听事件定位任务中，挖掘视频内的丰富关系对于准确的事件定位至关重要。然而，现有方法忽略了视觉实体（即对象和区域）之间的视觉关系。此外，现有模型通常创建两个模态特定的流来处理音频和视觉特征的模内和跨模态关系。不幸的是，这种双流架构可能存在参数冗余。此外，现有方法未探索连续事件片段之间的固有时间连续性关系。为解决这些问题并提高事件定位精度，我们提出了一种多关系学习网络（MRLN），可有效挖掘视觉关系、模内和跨模态关系以及时间连续性关系。具体而言，我们提出了音频条件图注意力，以动态捕捉视觉层关系学习中的音频相关视觉关系。为减少学习模内和跨模态关系时的参数冗余，引入了一种耦合模态和关系的编码器（CMRE），其采用轻量级单流结构，通过执行参数共享注意力同步处理视听模态和模内和跨模态关系。对于任意相邻事件片段，我们提出了一个新的连续性损失来模拟它们的关系，从而提高连续事件片段的一致性。此外，MRLN是一个稳健的框架，可应用于双粒度视觉实体：现有工作忽略的细粒度对象和粗粒度区域。在基准数据集上的大量实验证明了我们方法的有效性。与最近的最新技术（SOTA）模型相比，我们的方法在具备显著更少可训练参数的同时实现了新的SOTA性能。
Keyword:
Audio-visual event localization
Attention mechanism
Intra- and cross-modal relations
Temporal continuity relation
Visual relation
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations视觉基因组: 使用众包密集图像注释连接语言和视觉
OAAI
OAAI分享收藏分享收藏
Learning Event-Specific Localization Preferences for Audio-Visual Event Localization学习事件特定定位偏好的视听事件定位
PREAI
分享收藏Towards Efficient Audio-Visual Learners via Empowering Pre-trained Vision Transformers with Cross-Modal Adaptation通过跨模态适应赋能预训练视觉Transformer，实现高效视听学习者
PREAI
分享收藏分享收藏
查看更多内容