HOVER: Hyperbolic Video-Text Retrieval

doi:10.1109/TIP.2025.3611174

HOVER: Hyperbolic Video-Text Retrieval

2025-01-01

0

PRE

AI

DOI：10.1109/TIP.2025.3611174

原文链接

原文求助

摘要

En 中文

视频-文本检索在众多计算机视觉应用中是一项关键任务。本文聚焦于涉及复杂动作组合的视频-文本检索，其中单个视频包含多个基础动作，如“sitting up”、“opening door”、“cooking food”和“eating”。尽管此类动作组合视频在现实场景中普遍存在，但它们获得的学术关注有限，导致现有检索方法在此类任务上性能显著下降。为解决此挑战，我们提出超球面视频-文本检索（HOVER），通过将视频和文本嵌入低维超球面空间，建模其间的层次化语义关系。由于超球面空间提供了一种与层次化数据自然契合的几何先验，它能更高效且泛化地表示视频-文本语义层次。HOVER首先纵向分解每个视频为一棵层次化动作树，其中基础单动作表示为叶节点，而日益复杂的动作组合作为父节点。随后，利用超球面距离、范数和相对余弦相似性，将视频/文本的语义结构和时序依赖编码到超球面空间。实验结果表明，HOVER显著优于传统的欧几里得空间方法，尤其在训练标签有限的场景下，性能提升达28.83%。此外，HOVER学习的超球面视频-文本嵌入在新数据集上表现出强大的泛化能力，该数据集包含不同复杂度动作的视频。源代码可在https://github.com/shi-rq/HOVER获取。

Keyword:

Video-text retrieval

hyperbolic representation

multimodal learning

HOVER: Hyperbolic Video-Text Retrieval

摘要

期刊

机构

引用论文