.png){kind=icon}
返回
Temporal Map-Based Boundary Refinement Network for Video Moment Localization
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14081657.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视频片段定位已逐渐成为视频理解领域的一个热门研究问题。尽管取得了显著进展，但在以下方面仍存在两个局限性。首先，先前的方法通常直接将置信度分数最高的片段候选视为最终定位结果；它们忽略了片段候选与 ground truth 之间不可避免的偏差。其次，过去的模型未考虑不同质量的片段候选对模型训练具有不同影响的问题。因此，本文提出了一种新颖的基于时间图（Temporal Map-based）的边界精修网络（Boundary Refinement Network）来解决上述问题。具体而言，除了常规的置信度分数预测网络外，我们引入了一个基于 2D 时间图的边界精修网络，该网络能够微调生成片段候选的时间边界，以获得更精确的结果。此外，为了有区别地处理不同质量的片段候选并进一步提升定位性能，我们设计了一种创新的加权精修损失（weighted refinement loss），以引导模型更关注接近 ground truth 的片段候选的精修过程。最后，我们在两个公开数据集上评估了我们的模型，广泛的实验结果表明，我们的技术优于当前最优方法（例如，在 ActivityNet Captions 数据集上，R1@0.7 的相对提升达到 4.63%）。
Keyword:
video moment localization
temporal map
boundary refinement network
weighted refinement loss
期刊
IF:
2.6
论文数:
1.0W
被引数:
4.7W
机构
暂无机构信息
引用论文
.png){kind=icon}
Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos
PREAI
分享收藏分享收藏分享收藏
查看更多内容