.png){kind=icon}
返回
Instance-Level Moving Object Segmentation from a Single Image with Events
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-025-02380-z.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
运动对象分割在理解涉及多个运动对象的动态场景中发挥着关键作用，而其难点在于需要同时考虑空间纹理结构和时序运动线索。基于视频帧的现有方法在区分对象像素位移是由相机运动还是对象运动引起时遇到困难，这是由于基于图像的精确运动建模的复杂性。近期进展利用新型事件相机的运动敏感性来应对传统图像在运动建模能力上的不足，但反而由于事件中缺乏密集纹理结构而导致像素级对象掩码分割的挑战。为解决单模态设置带来的这两项限制，我们提出了首个实例级运动对象分割框架，该框架整合了互补的纹理和运动线索。我们的模型通过隐式跨模态掩码注意力增强、显式对比特征学习以及流引导运动增强，分别利用单图像中的密集纹理信息和事件中的丰富运动信息。通过利用增强的纹理和运动特征，我们将掩码分割与运动分类分离，以处理数量可变的独立运动对象。通过在多个数据集上的广泛评估，以及针对不同输入设置和所提框架实时效率分析的消融实验，我们相信，我们首次尝试将图像和事件数据用于实际部署，可为基于事件的运动相关工作的未来研究提供新的见解。模型训练的源代码及预训练权重已发布于 https://npucvr.github.io/EvInsMOS。
Keyword:
Event camera
Motion analysis
Moving object segmentation
Instance segmentation
Event and image fusion
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
暂无机构信息
引用论文
.png){kind=icon}
Joint Filtering of Intensity Images and Neuromorphic Events for High-Resolution Noise-Robust Imaging
PREAI
分享收藏
DeepFTSG: Multi-stream Asymmetric USE-Net Trellis Encoders with Shared Decoder Feature Fusion Architecture for Video Motion SegmentationDeepFTSG: 具有共享解码器功能的多流非对称使用网络网格编码器融合架构，用于视频运动分割
OAAI
OAAI分享收藏
查看更多内容