.png){kind=icon}
返回
BRTAL: Boundary Refinement Temporal Action Localization via Offset-Driven Diffusion Models
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3548515.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
时空动作定位（TAL）旨在对未修剪视频中的所有动作进行分类和定位。现有的TAL方法由于动作内容的相似性以及相邻帧之间边界的模糊性，往往难以准确预测边界。许多方法依赖固定或全局的候选区域学习策略，缺乏更精细的方法来提升定位精度。本文提出BRTAL，一种基于偏移驱动的扩散模型的TAL边界精修框架，专门通过精细化的迭代方法增强动作边界精度。与强调全局目标预测的传统TAL方法不同，BRTAL采用局部精修视角，利用偏移驱动策略。具体而言，本框架通过扩散模型迭代生成预测与真实值之间的局部偏移量，逐步减小这些偏移量以实现与真实值的更好对齐。这种精细化方法尤其有效于解决TAL中常见的模糊边界问题，使BRTAL能够实现比现有方法更精细的边界定位。此外，我们引入一个轻量且强大的时间上下文建模（TCM）模块，以增强时间信息建模，实现准确的动作定位。TCM包含一个时间表征感知（TRP）层，通过结合挤压-激励设计与大卷积核，捕捉时间演化和长期上下文依赖关系，确保鲁棒的时间表征学习。在THUMOS14、ActivityNet-1.3和EPIC-KITCHEN 100数据集上的大量实验凸显了BRTAL的显著优势。值得注意的是，BRTAL在THUMOS14上达到平均mAP 69.6%，建立了新的最优基准，并展示了其卓越的边界精修能力。
Keyword:
Temporal action localization
diffusion model
vision transformers
temporal context modeling
期刊
IF:
11.1
论文数:
873
被引数:
3.1W
机构
暂无机构信息
引用论文
.png){kind=icon}
Co-Occurrence Matters: Learning Action Relation for Temporal Action Localization共现很重要：学习动作关系进行时序动作定位
OAAI
OAAI分享收藏
查看更多内容