Robust-DS: A Robust Multi-Sensor Multi-Task Learning Framework for Depth Estimation and Semantic Segmentation

Cheng Feng

doi:10.1109/tcsvt.2026.3737613

Robust-DS: A Robust Multi-Sensor Multi-Task Learning Framework for Depth Estimation and Semantic Segmentation

2026-09-25

0

PRE

AI

DOI：10.1109/tcsvt.2026.3737613

原文链接

原文求助

摘要

En 中文

在深度估计和语义分割是自主系统中常见任务的同时，针对低成本系统的专用多传感器框架仍显不足。此外，多传感器方法常受传感器测量错位和传感器故障的影响，限制了其实际应用。本文提出Robust-DS，一种为自主系统定制的基准框架。它整合了基于置信度的深度一致性学习方案和鲁棒训练策略，以应对传感器测量错位和故障。Robust-DS处理来自单幅图像和测距传感器的数据，使用两个编码器提取特征，随后在卷积门控循环单元融合模块中进行合并。该设置支持通过不同解码器头实现多任务预测。为解决传感器测量错位和故障问题，我们实施了基于置信度的方案以减少不可靠测距测量的影响，并采用鲁棒训练策略应对单个传感器完全失效而另一传感器仍可用的情形。我们在包含不同传感器输入的四组数据集上评估了所提出的方法，结果表明其性能相较于现有最佳基准实现了持续提升。

Keyword:

Multi-sensor

Depth Estimation

Semantic Segmentation

Sensor failures

Robust training

Robust-DS: A Robust Multi-Sensor Multi-Task Learning Framework for Depth Estimation and Semantic Segmentation

摘要

期刊

机构

引用论文