.png){kind=icon}
返回
Dynamic Adapters for Enabling Continuous Edge Video Analytics With Segment Anything Model
.png){kind=icon}
PRE
AI
DOI：10.1109/tmc.2026.3717455.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
段 Anything 模型（SAM）的兴起，作为一种视觉基础模型，有望在边缘连续视频分析领域实现显著进步。然而，资源需求高和动态应用需求阻碍了其在动态视频场景中的实际部署。传统的连续视频分析系统侧重于小型模型，依赖大规模再训练和评估来缓解数据漂移，这对 SAM 来说资源消耗巨大。而现有的 SAM 微调策略，设计用于预定义任务，受限于其刚性架构的有限表示能力，阻碍了其管理连续漂移的能力。在本文中，我们提出了 AdaptiveSAM，首个针对 SAM 的连续视频分析系统，通过数据感知的动态适配器架构和高效的查找表实现连续推理。具体而言，我们设计了一种零成本的适配器搜索算法，用于确定当前场景的适配器结构。我们提出的动态适配器相比刚性架构扩展了模型的表示能力，避免了全模型重复再训练并缓解了灾难性遗忘。接下来，我们引入了一种基于查找的推理范式，利用质心学习来表示多样化场景。在推理过程中，系统通过精细特征匹配高效选择最合适的适配器，并在匹配误差变得不可接受时（即指示显著数据漂移）触发重新适配过程。我们在视频分割数据集和真实流上评估了 AdaptiveSAM。在数据集上，它在四种骨干网络（SAM、MobileSAM、HQSAM、SAM2）上均表现出显著的平均交并比（mIoU）提升（例如，在 CamVid/Cityscapes 上最高达 5.1 mIoU）。在真实流上，AdaptiveSAM 超越了当前最先进的连续系统，实现了最高 13.7 mIoU 的提升，同时将选择和适配过程加速 7.97 倍至 298 倍和 6.63 倍至 8.72 倍。
Keyword:
Continuous learning
live video analytics
segment anything model
期刊
IF:
9.2
论文数:
5.8K
被引数:
1.8W
机构
引用论文
暂无论文信息