.png){kind=icon}
返回
ProTeCt: Geometry-aware reference-guided video semantic segmentation for event camera APS frames
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2026.133531.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
事件流失效期间（称为降级感知模式）的鲁棒感知是对事件视觉系统的关键安全要求。虽然主动像素传感器（APS）帧提供必要的备用上下文，但它们面临双重困境：光谱强度退变（例如，无法区分道路与人行道纹理）和曝光引起的运动模糊。为解决此问题，我们提出ProTeCt，一种基于参考引导的视频语义分割框架，利用稀疏的高质量锚点进行感知校准。首先，我们引入一个坐标感知的模块化原型交互模块（C-PIM），它将像素投影到联合几何-语义流形中，通过空间不变量解决灰度模糊。其次，一个时间可靠性门控（TRG）机制替换了脆弱的光流，采用可靠性感知的断路器，在自适应抑制模糊传播的同时，通过参考原型重建特征。最后，提出了一种几何等变性引导的原型演化策略，通过强制在线适应过程中的自监督一致性约束，防止记忆污染。在DSEC-Semantic和DDD17上的广泛实验表明，ProTeCt显著优于当前最佳基线，为带宽受限条件下的事件相机感知建立了弹性标准。代码可在https://github.com/zhuoxianli/Protect.git获取。
Keyword:
Video semantic segmentation
Event camera APS modality
Reference-guided segmentation
Geometric spatial embedding
Temporal reliability gating
