返回
Objectness scan for efficient vision Mamba
DOI:10.1016/j.knosys.2025.114573.png)
摘要
En 中文
Mamba已在多个视觉任务中首次亮相,但仍然需要更有效的扫描策略来将视觉数据展开为逻辑上的1维标记序列,以确保空间连续性和语义结构。本文针对高效视觉Mamba提出了一种具有双注意力机制的对象性扫描策略。视觉数据根据其对象性展开。生成的1维标记序列在保持视觉空间连续性的同时,呈现出清晰的语义结构,类似于自然语言中的句法结构,这归因于三个内置的语言特征——依赖距离最小化、首位效应和高可及性。还提出了一种多尺度前景提议器作为关键组件,用于评估标记的对象性。它通过并行增强调制机制减轻了非对象信息的干扰,并防止了语义信息的衰减。通过整合对象性扫描策略,所提出的视觉Mamba模型ObjM在准确高效地识别前景对象方面表现出显著优势。在伪装目标检测和显著目标检测上,它实现了性能提升,同时仅通过替换几个最新伪装目标检测模型的主干网络,就实现了计算成本平均减少31.04%和参数量减少56.90%。在MSCOCO多目标检测和实例分割任务中,它也消耗更少的计算资源。代码可在https://github.com/kaiopen/objm获取。

