.png){kind=icon}
返回
Dynamic semantic prototype perception for text-video retrieval
.png){kind=icon}
PRE
AI
DOI：10.1016/j.imavis.2025.105515.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
语义对齐是解决细粒度文本-视频检索任务的一种有前景的方案。然而，现有方法依赖额外的目标检测器作为显式监督，这对实际应用不友好。为此，提出了一种新颖的动态语义原型感知（DSP Perception），能够自动学习、构建和推断视觉区域与文本词之间的动态时空依赖关系，无需任何显式监督。具体而言，DSP Perception由三个组件构成：空间语义解析模块、时空语义相关模块和跨模态语义原型对齐。空间语义解析模块被用来量化视觉块以减少视觉多样性，这有助于后续聚合相似语义区域。时空语义相关模块被引入以学习相邻帧之间的动态信息，并将视频中属于同一语义的局部特征聚合为管状结构。此外，针对跨模态语义原型对齐提出了一种新颖的全局-局部对齐策略，为动态语义原型的跨模态感知提供时空线索。因此，所提出的DSP Perception能够捕获视频中的局部区域及其动态信息。在四个广泛使用的数据集（MSR-VTT、MSVD、ActivityNet-Caption和DiDeMo）上进行的广泛实验通过与几种最新方法比较，证明了所提出的DSP Perception的有效性。
Keyword:
Video retrieval
Global-local
Fine-grained
Dynamic semantic prototype
Video representation learning
期刊
IF:
4.2
论文数:
4.1K
被引数:
6.7K
机构
引用论文
Transferable dual multi-granularity semantic excavating for partially relevant video retrieval面向部分相关视频检索的可迁移双多粒度语义挖掘
PREAI
分享收藏CLIP4Clip: An empirical study of CLIP for end to end video clip retrieval and captioningCLIP4Clip: 端到端视频剪辑检索和字幕剪辑的实证研究.png)
NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏分享收藏
查看更多内容