返回
Lightweight three-stream encoder–decoder network for multi-modal salient object detection
DOI:10.1016/j.jvcir.2025.104523.png)
摘要
En 中文
显著目标检测技术能够识别场景中最具吸引力的物体。近年来,多模态显著目标检测(SOD)展现出良好的发展前景。然而,大多数现有的多模态SOD模型在追求全面的跨模态特征融合时,忽略了模态尺寸和计算成本。为提升高精度模型在实际应用中的可行性,我们提出了一种轻量级三流编码-解码网络(TENet)用于多模态显著目标检测。具体而言,我们设计了三个解码器以探索不同多模态特征中嵌入的显著性线索,并利用分层解码结构来缓解低质量图像的负面影响。为减少模态间的差异,我们提出了一种轻量级模态信息引导融合(MIGF)模块,以增强RGB-D和RGB-T模态间的相关性,从而为三模态融合奠定基础。此外,为利用多尺度信息,我们提出了语义交互(SI)模块和语义特征增强(SFE)模块,用于整合高低层特征中嵌入的特定分层信息。在VDT-2048数据集上的大量实验表明,TENet的模型尺寸为37 MB,推理速度为38FPS,其精度与16种当前最先进的多模态方法相当。
期刊
IF:
3.1
论文数:
547
被引数:
5.6K
机构
引用论文
Multi-modal interactive attention and dual progressive decoding network for RGB-D/T salient object detection用于rgb-d/T显著目标检测的多模态交互式注意力和双渐进解码网络
NEUROCOMPUTING
IF6.5
A Review of Machine Learning and Deep Learning for Object Detection, Semantic Segmentation, and Human Action Recognition in Machine and Robotic Vision
Technologies
IF0

