.png){kind=icon}
返回
Three-Way Multimodal Learning with Severely Missing Modalities
.png){kind=icon}
PRE
AI
DOI：10.3390/info17040384.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
缺失模态仍然是多模态学习系统在实际部署中的主要障碍，因为不完整的输入会显著降低模型性能。现有方法在高缺失率下常受偏差插补困扰，且缺乏不确定性感知的差异化处理。受三路决策启发（一种通过增设暂缓选项来处理不确定性的框架），我们提出了严重缺失模态下的三路多模态学习（3WML-SMMs）框架，首次将三路决策机制引入缺失模态插补和特征正则化。具体而言，3WML-SMM将方差不仅视为不确定性描述指标，更作为适应性处理的决策信号。基于此，该框架整合了：（1）一种方差引导的三路插补策略，通过接受-暂缓-拒绝决策减少在样本稀疏时的不可靠重建；（2）一种维度自适应特征增强模块，根据扰动不确定性进行细粒度正则化。在CMU-MOSI和MM-IMDb数据集上的实验表明，3WML-SMM在严重缺失模态条件下显著优于包括重建方法、完整输入多模态方法及缺失模态特定方法在内的基线模型，相比严重缺失模态多模态学习（SMIL）基线实现统计显著提升（p<0.05）。结果表明，该框架在极端条件（仅10%文本模态可用）下仍保持有效性。
Keyword:
multimodal learning
modality missing
three-way decision
feature reconstruction
regularization
robustness
期刊
I
IF:
2.9
论文数:
861
被引数:
9.8K
机构
引用论文
分享收藏分享收藏分享收藏分享收藏Audio Feature Generation for Missing Modality Problem in Video Action Recognition视频动作识别中缺失模态问题的音频特征生成.png)
ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
PREAI
分享收藏
查看更多内容