.png){kind=icon}
返回
Spatial-Temporal Side Adaptation with Difference-based Frame Selector for video class-incremental learning☆
.png){kind=icon}
PRE
AI
DOI：10.1016/j.displa.2026.103578.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视频类增量学习旨在持续获取新动作类别，同时缓解灾难性遗忘。然而，现有方法通常存在参数开销过大的问题，且无法在存储帧中保留关键运动信息。为克服这些局限性，我们提出了一种由两个新颖组件驱动的高效框架：一个轻量级的空间-时间侧适应（STSA）模块和一个基于差异的帧选择器（DFS）。该方法并非采用繁琐的微调，而是将基于CLIP的ViT的中层特征解耦为全局语义和局部空间表示，以独立进行时序和空间建模。随后融合这些表示，并应用全局-局部时序正交损失以显式捕捉复杂的时序动态。为在严格内存预算下优化回放效率，DFS利用全局-局部时序差异和跨任务表示漂移来量化与内存相关的运动显著性，并构建累积显著性曲线以自适应地采样最具判别力的帧。在UCF101、HMDB51和UESTC-MMEA-CL数据集上的大量实验表明，我们的方法在相同内存预算下显著优于当前最优的VCIL方法，仅需其42.55%的可训练参数。
Keyword:
Video class-incremental learning
Action recognition
Catastrophic forgetting
Spatial-temporal modeling
期刊
IF:
3.4
论文数:
2.3K
被引数:
3.2K
机构
引用论文
暂无论文信息