.png){kind=icon}
返回
Evaluating SAM2 for Video Semantic Segmentation
.png){kind=icon}
PRE
AI
DOI：10.1007/s11633-026-1638-9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
段 Anything 模型 2（SAM2）已被证明是图像和视频中可提示的视觉对象分割的强大基础模型，能够存储对象感知记忆并通过记忆块进行时序转移。尽管 SAM2 通过提供基于提示的密集分割掩码在视频对象分割方面表现出色，但将其扩展到密集视频语义分割（VSS）存在挑战，因为需要空间精度、时序一致性和跟踪具有复杂边界和不同尺度的多个对象的能力。本文探讨了 SAM2 在 VSS 中的扩展，重点介绍了两种主要方法，并突出了在此过程中遇到的第一手观察结果和常见挑战。第一种方法涉及使用 SAM2 从给定图像中提取唯一对象作为掩码，同时使用分割网络生成和细化初始预测。第二种方法利用预测的掩码提取唯一特征向量，然后将这些向量输入简单网络进行分类。最终分类和掩码随后结合以生成最终分割。我们的实验表明，利用 SAM2 可增强 VSS 的整体性能，主要归因于其对对象边界的精确预测。
Keyword:
Video semantic segmentation (VSS)
segment anything model 2 (SAM 2)
visual foundation models
boundary refinement
temporal consistency
mask-based classification
期刊
IF:
8.7
论文数:
304
被引数:
882
机构
引用论文
.png){kind=icon}
查看更多内容