.png){kind=icon}
返回
Topologically Consistent Prototype Network for Incomplete Multimodal Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/s12559-025-10448-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态学习的目标是利用多种数据模态的互补信息来提高泛化性能。然而，多模态数据的不完整观测（由于模态缺失）往往阻碍了对互补信息的利用。尽管已提出许多方法来处理测试数据的不完整性，但鲜有方法能够灵活处理训练和测试阶段中任意缺失的模态。在本文中，我们提出了一种通用的框架，称为拓扑一致性原型网络（TCPN），用于有效且灵活地解决具有任意缺失模态的多模态学习问题，特别是在涉及两种或更多种不同模态的场景中。该框架基于拓扑一致性的基本假设建立跨模态关联，该假设认为样本与原型之间的几何关系在不同模态之间得以保持。此外，它引入了原型网络，通过采用模态原型的线性组合和拓扑权重来促进缺失模态的推断。对于分类任务，我们构建并训练了基于原型学习的多个分类器，采用多任务框架以提高特征表示和分类精度。在多个多模态数据集上的实验结果表明，所提出的框架优于现有方法，尤其是在小样本学习和非平衡学习场景中表现出优势。
Keyword:
Multimodal incompleteness
Modality arbitrarily missing
Cross-modal reconstruction
Topological consistency
Prototype learning
期刊
IF:
4.3
论文数:
1.6K
被引数:
3.6K
机构
引用论文
Practical Cross-modal Manifold Alignment for Robotic Grounded Language Learning机器人落地语言学习的实用跨模态流形对齐
OAAI
OAAI分享收藏分享收藏分享收藏EmbraceNet: A robust deep learning architecture for multimodal classificationEmbraceNet: 一种强大的多模态分类深度学习架构.png)
INFORMATION FUSION
OAAI
INFORMATION FUSIONIF15.5
OAAI分享收藏
查看更多内容