返回
MsGf: A Lightweight Self-Supervised Monocular Depth Estimation Framework with Multi-Scale Feature Extraction
DOI:10.3390/s25206380.png)
摘要
En 中文
单目深度估计是计算机视觉中的一个重要组成部分,能够实现3D场景理解,在自动驾驶和增强现实等领域具有关键应用。本文提出了一种基于单幅RGB图像的轻量级自监督框架MsGf,用于多尺度特征提取和伪影消除。所提出的框架首先设计了一个跨维度多尺度特征提取(CDMs)模块。CDMs模块结合了并行多尺度卷积和顺序特征卷积,以最小参数实现多尺度特征提取。此外,还提出了一个Sobel边缘感知引导滤波(SEGF)模块。SEGF模块利用Sobel算子将特征分解为水平方向特征和垂直方向特征,并通过两步滤波生成滤波核,从而有效抑制伪影并更好地捕捉结构和边缘特征。在KITTI和Make3D数据集上进行的大量消融实验和对比实验表明,仅包含0.8 M参数的MsGf能够取得优于当前最先进方法的表现。
AI总结
对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
暂无期刊信息
机构
暂无机构信息
引用论文
Xu, J.; Mello, S.D.; Liu, S.; Byeon, W.; Breuel, T.; Kautz, J.; Wang, X. GroupViT: Semantic segmentation emerges from text supervision. In Proceedings of the IEEE / CVF Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 18134–18144. [Google Scholar] [CrossRef]Xu, J.; Mello, S.D.; Liu, S.; Byeon, W.; Breuel, T.; Kautz, J.; Wang, X. GroupViT:语义分割由文本监督产生。发表于IEEE/CVF计算机视觉与模式识别会议论文集,美国新奥尔良,路易斯安那州,2022年6月18日至24日;第18134-18144页。[Google Scholar][CrossRef]
Wu, Z.; Chen, J.; Tan, L.; Gong, H.; Zhou, Y.; Ge, S. A lightweight GAN-based image fusion algorithm for visible and infrared images. In Proceedings of the International Conference on Computer Science and Blockchain, Shenzhen, China, 6–8 September 2024; pp. 466–470. [Google Scholar] [CrossRef]Wu, Z.; Chen, J.; Tan, L.; Gong, H.; Zhou, Y.; Ge, S. 一种基于GAN的轻量级可见光与红外图像融合算法. 计算机科学与区块链国际会议论文集, 中国深圳, 2024年9月6–8日; 第466–470页. [Google Scholar] [CrossRef]
Sun, Y.; Hariharan, B. Dynamo-Depth: Fixing unsupervised depth estimation for dynamical scenes. Adv. Neural Inf. Process. Syst. 2023, 36, 54987–55005. [Google Scholar] [CrossRef]Sun, Y.; Hariharan, B. Dynamo-Depth:解决动态场景的无监督深度估计问题。Adv. Neural Inf. Process. Syst. 2023, 36, 54987–55005. [Google Scholar] [CrossRef]
Mobilenet V3-transformer, a lightweight model for image captionMobileNet V3-transformer,一种用于图像描述的轻量级模型

