.png){kind=icon}
返回
Parameter-efficient multimodal adaptation for adverse condition depth estimation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2025.130600.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
不良条件深度估计（ACDE）已成为在这些场景下实现鲁棒感知的关键任务，但现有方法存在显著局限性。依赖生成模型的传统方法通常需要辅助目标域图像或计算密集型的领域自适应模块，这增加了部署复杂度并阻碍了实际应用。此外，与视觉-语言模型CLIP（其文本和视觉特征固有对齐）不同，深度估计框架缺乏显式机制来对齐多模态特征。为解决这些挑战，我们提出了参数高效多模态自适应（PEMA），包括基于提示的领域对齐（PDDA）模块和视觉-文本一致性对比学习（VTCCL）模块用于ACDE。具体而言，PDDA模块将低秩分解矩阵注入深度估计器图像编码器的自注意力层，并通过一种新颖的语言-图像差异等效损失进行优化。PDDA确保文本提示的语义偏移镜像视觉特征偏移，在不良条件下捕获未见目标域视觉表征，而无需目标域图像。此外，VTCCL模块通过层次一致性约束连接扩散模型视觉特征和CLIP文本嵌入。VTCCL模块采用跨模态对比对齐将相同天气条件下的视觉-文本对聚类，同时分散不匹配对，并结合模内一致性目标以区分各模态内的细粒度天气变化。通过大量实验，PEMA在nuScenes和Oxford RobotCar数据集上实现了SOTA性能，例如nuScenes-night为79.96%，nuScenes-rain为95.37%，RobotCar-night为89.33%。此外，与基线深度估计器相比，PEMA在CityScapes-foggy数据集上的d1指标提升了1.44%。代码即将发布。
期刊
IF:
7.5
论文数:
3.0W
被引数:
10.2W
机构
引用论文
.png){kind=icon}
An accurate estimation of preterm infants? limb pose from depth images using deep neural networks with densely connected atrous spatial convolutions早产儿的准确估计？使用具有密集连接的空间卷积的深度神经网络从深度图像中提取肢体姿势
PREAI
分享收藏
PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language ModelsPissa：大型语言模型的主奇异值和奇异向量的自适应
PREAI
分享收藏分享收藏分享收藏
查看更多内容