.png){kind=icon}
返回
Scalable multi-modal representation learning networks
.png){kind=icon}
OA
AI
DOI：10.1007/s10462-025-11224-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态表示学习因其跨多种模态的全面解释能力而受到认可。尽管现有方法已取得良好效果，但它们在保留高阶信息和处理样本外数据泛化方面面临挑战。为解决这些问题，我们提出了一种可扩展的多模态表示学习网络框架，旨在学习最优的模态特定投影矩阵，将多模态特征投影到共享表示空间。具体而言，考虑权重引导的模态级和行稀疏驱动的特征级度量，以从原始数据中实现自适应分层特征选择。随后，在统一的潜在表示空间中，我们采用超图嵌入来保留模态特定高维空间内复杂的高阶局部几何结构。最后，我们提出一种受近端算子启发的网络架构来解决优化目标，从而简化特征自动加权选择和表示学习的过程。实验结果突显了所提方法的有效性和优越性，而在线样本外测试进一步证明了其鲁棒泛化能力。所提方法的代码公开可访问于：https://github.com/ZihanFang11/SMMRL.
Keyword:
Multi-modal learning
Representation learning
Inductive models
Sparse regularization
期刊
IF:
13.9
论文数:
6.1K
被引数:
1.9W
机构
引用论文
.png){kind=icon}
分享收藏Graph Embedding Contrastive Multi-Modal Representation Learning for Clustering面向聚类的图嵌入对比多模态表示学习
PREAI
分享收藏Interpretable Graph Convolutional Network for Multi-View Semi-Supervised Learning用于多视图半监督学习的可解释图卷积网络
PREAI
分享收藏The methods for improving large-scale multi-view clustering efficiency: a survey提高大规模多视图聚类效率的方法综述OAAI
OAAI分享收藏
查看更多内容