arrow
返回

Lightweight three-stream encoder–decoder network for multi-modal salient object detection

delete2025-07-04
delete0
PRE
AI
J
Junzhe Lu
T
Tingyu Wang *
B
Bin Wan
Q
Qiang Zhao
王
王帅 (Shuai Wang)
Y
Yaoqi Sun *
Y
Yang Zhou
Chenggang Yan 封面图
Chenggang Yan (Chenggang Yan)
DOI:10.1016/j.jvcir.2025.104523delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
显著目标检测技术能够识别场景中最具吸引力的物体。近年来,多模态显著目标检测(SOD)展现出良好的发展前景。然而,大多数现有的多模态SOD模型在追求全面的跨模态特征融合时,忽略了模态尺寸和计算成本。为提升高精度模型在实际应用中的可行性,我们提出了一种轻量级三流编码-解码网络(TENet)用于多模态显著目标检测。具体而言,我们设计了三个解码器以探索不同多模态特征中嵌入的显著性线索,并利用分层解码结构来缓解低质量图像的负面影响。为减少模态间的差异,我们提出了一种轻量级模态信息引导融合(MIGF)模块,以增强RGB-D和RGB-T模态间的相关性,从而为三模态融合奠定基础。此外,为利用多尺度信息,我们提出了语义交互(SI)模块和语义特征增强(SFE)模块,用于整合高低层特征中嵌入的特定分层信息。在VDT-2048数据集上的大量实验表明,TENet的模型尺寸为37 MB,推理速度为38FPS,其精度与16种当前最先进的多模态方法相当。

期刊

Journal of Visual Communication and Image Representation 封面图
Journal of Visual Communication and Image Representation
IF:
3.1
论文数:
547
被引数:
5.6K

机构

H
Hangzhou Dianzi University
学者数:
1.3W
论文数: 9.6K
被引数: 7.5K
引用论文

引用论文

Sfnet: Faster and Accurate Semantic Segmentation Via Semantic Flow
err2023-09-07
err8
errOAAI
errLi, Xiangtai; Zhang, Jiangning; Yang, Yibo; Cheng, Guangliang; Yang, Kuiyuan; Tong, Yunhai; Tao, Dacheng
err分享
err收藏
A tutorial on the cross-entropy method关于交叉熵方法的教程
err2005-02-01
err2.2K
PREAI
errDe Boer, PT; Kroese, DP; Mannor, S; Rubinstein, RY
err分享
err收藏
CBAM: Convolutional Block Attention ModuleCBAM: 卷积块注意力模块
err2018-10-06
err0
PREAI
errSanghyun Woo; Jongchan Park; Joon-Young Lee; In So Kweon
err分享
err收藏
CGMDRNet: Cross-Guided Modality Difference Reduction Network for RGB-T Salient Object Detection
err2022-09-01
err0
PREAI
errGang Chen; Feng Shao; Xiongli Chai; Hangwei Chen; Qiuping Jiang; Xiangchao Meng; Yo-Sung Ho
err分享
err收藏
err分享
err收藏
学者 查看更多内容