.png){kind=icon}
返回
Fine-Grained Audio–Visual Event Localization
.png){kind=icon}
PRE
AI
DOI：10.1109/TNNLS.2025.3600878.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视听事件定位（AVEL）旨在通过关联视听信息来识别视频中的事件。然而，现有AVEL任务中涉及的事件通常是粗粒度事件。实际上，有时需要区分更细粒度的事件，尤其是在某些专家级应用或富内容生成研究中。然而，这具有挑战性，因为与粗粒度事件相比，它们更难检测或区分。为了更好地解决这一问题，我们从数据集到方法讨论了一种新的细粒度AVEL设置。首先，我们构建了第一个细粒度视听事件数据集，称为IT-AVE，该数据集基于演奏乐器的视频，包含13k个视频片段和超过52k个视听事件。所有事件均由专业音乐从业者标注，事件类别均源自演奏技巧，这些技巧是细粒度的，且类别间差异很小。接下来，我们设计了一种新的细粒度事件定位方法，即时空视频事件检测器（SVED），该方法着重于细粒度事件更不易察觉且容易受到干扰的挑战。最后，我们基于提出的IT-AVE数据集以及两个现有相关数据集的细粒度版本（包括源自UnAV-100的UnAV-22和源自FineAction的FineAction-AV）进行了大量实验。实验结果证明了我们方法的有效性。我们希望这项工作能促进对视听视频的综合理解。
Keyword:
Audio–visual event localization (AVEL)
multimodal learning
temporal action localization (TAL)
video understanding
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
引用论文
Large-Scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation.png)
ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
OAAI
ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏Vggsound: A Large-Scale Audio-Visual DatasetICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)OAAI
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏An Effective Video Transformer With Synchronized Spatiotemporal and Spatial Self-Attention for Action Recognition用于动作识别的具有同步时空和空间自注意的有效视频转换器
PREAI
分享收藏
分享收藏
查看更多内容