.png){kind=icon}
返回
Task-Aware Information Decoupling for Multimodal Clustering
.png){kind=icon}
PRE
AI
DOI：10.1109/TKDE.2026.3679087.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态聚类（MMC）通过整合来自多个来源的信息克服了单模态方法的局限性，但异构信息耦合的复杂性阻碍了有效的特征提取。关键在于，现有的MMC范式主要关注通过粗粒度跨模态对齐来捕捉共识。然而，此类任务无关策略忽视了特征信息在不同任务环境中的效用差异。在缺乏任务中心指导的情况下，模型在解耦过程中往往难以有效区分任务相关的关键信息与任务无关的冗余噪声，导致表示空间中的信息混淆。为解决此挑战，我们提出了一种基于信息理论的深度解耦多模态聚类方法，命名为DRLMMC，该方法采用三重信息优化机制实现跨模态表示的深度解耦。1）我们设计了模态特定的编码器来构建非线性映射空间，将自编码器的重构机制转化为信息论互信息（MI）约束问题，以保留不同模态的独特特征；2）为建立跨模态语义关联，构建了跨模态共享信息提取模块，并在信息论框架下设计了优化目标函数，通过最大化互信息和对比学习逐步对齐多模态特征子空间，捕捉跨模态的任务相关不变特征；3）提出了独特的“信息动态感知”模块，采用条件互信息投影网络结合分布学习正则化，自适应地提取和增强模态特定的任务相关独特信息。实验结果表明，DRLMMC在多模态基准数据集上优于现有最先进方法，展现出优异的泛化能力。值得注意的是，它在多组学分析中实现了跨组学特征的精确解耦，为处理复杂生物医学数据提供了新的方法论。
Keyword:
Decoupled representation learning
multimodal clustering
mutual information
task-irrelevant and task-relevant information
期刊
IF:
10.4
论文数:
6.8K
被引数:
3.2W
机构
引用论文
Multi-View Adaptive Fusion Network for Spatially Resolved Transcriptomics Data Clustering用于空间分辨转录组数据聚类的多视图自适应融合网络
PREAI
分享收藏
Weakly Misalignment-Free Adaptive Feature Alignment for UAVs-Based Multimodal Object Detection.png)
IF0
PREAI
分享收藏Learning Generative Visual Models from Few Training Examples: An Incremental Bayesian Approach Tested on 101 Object Categories从少数训练示例中学习生成的视觉模型: 在101对象类别上测试的增量贝叶斯方法
PREAI
分享收藏分享收藏
查看更多内容