.png){kind=icon}
返回
Multimodal learning with missing modality for chemical process system
.png){kind=icon}
PRE
AI
DOI：10.1016/j.compchemeng.2025.109196.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态学习通过整合来自图像、文本和声学信号等不同模态的数据，因其能够从各种来源提取更丰富的信息而日益受到重视。在化工过程系统中，由于反应和热流等复杂现象涉及跨多模态的数据，有效利用这些异构信息对于准确解释系统状态和进行决策至关重要。尽管多模态方法具有潜力，但现有研究主要针对计算机视觉和自然语言处理领域，对化工过程特有的挑战关注有限，特别是实际数据中常见的缺失模态问题。为解决此问题，我们提出了一种用于化工过程的新型缺失模态多模态学习框架（MMC）。该框架采用分块投影和LSTM层对图像和表格数据进行嵌入处理，并通过多模态Transformer识别模态间的交互。我们引入提示学习，通过使用缺失感知提示来微调模型，以缓解缺失模态问题。通过在管式反应器系统的故障诊断任务上进行大量实验，我们验证了MMC的鲁棒性和性能提升，特别是在数据缺失场景下。消融研究进一步探究了模型架构和提示设计的有效性。
期刊
C
IF:
3.9
论文数:
8.1K
被引数:
1.7W
机构
暂无机构信息
引用论文
Deep model based on mode elimination and Fisher criterion combined with self-organizing map for visual multimodal chemical process monitoring基于模式消除和Fisher准则，并结合自组织映射的深度模型，用于视觉多模态化工过程监控
PREAI
分享收藏
分享收藏Hybrid multimodal fusion with deep learning for rolling bearing fault diagnosis基于深度学习的混合多模态融合滚动轴承故障诊断.png)
MEASUREMENT
MEASUREMENTIF5.6
PREAI
分享收藏Maximizing information from chemical engineering data sets: Applications to machine learning最大化来自化学工程数据集的信息: 机器学习的应用
OAAI
OAAI分享收藏
查看更多内容