.png){kind=icon}
返回
A Cognitive-Inspired Multimodal Information Fusion Algorithm
.png){kind=icon}
PRE
AI
DOI：10.1142/S0218001425590219.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态信息融合在使智能系统能够处理和推理异构数据源（如视觉、语言和音频）方面发挥着关键作用。传统融合方法在语义对齐、跨模态依赖性以及复杂环境下的鲁棒性方面常面临挑战。本研究提出了一种受认知和心理学启发的多模态信息融合算法，该算法明确将选择性注意、工作记忆整合和层级推理等原则纳入到一个基于最优传输的语义对齐和自适应注意力融合的新框架中，从而区别于现有的多模态融合方法。所提出的算法首先使用2-Wasserstein最优传输对齐策略，将异构模态（图像、文本和音频）编码并映射到共享的潜在空间中进行对齐，然后应用一种受认知启发的语义注意力机制，为下游任务（如分类和检索）动态加权各模态的贡献。在四个公开基准数据集（LUMA、WIT、VGGSound和MusicTM）上的大量实验表明，该方法取得了持续的性能提升，例如在跨模态分类任务中，相比最佳基线模型，准确率最高提升了2.4%，F1分数最高提升了2.1%。该方法在多样化的模态组合和领域复杂性中展示了其鲁棒性，突显了其在跨模态检索、智能决策支持和多传感器集成等实际应用中的重要性。未来工作将探索大规模跨模态适应和低资源场景，以进一步提升其可扩展性和泛化能力。
Keyword:
Multimodal information fusion
cognitive-inspired learning
optimal transport
semantic attention
deep representation learning
期刊
IF:
1.1
论文数:
215
被引数:
2.0K
机构
引用论文
Contrastive Hierarchical Augmentation Learning for Modeling Cognitive and Multimodal Brain Network
PREAI
分享收藏Vggsound: A Large-Scale Audio-Visual Dataset.png)
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
OAAI
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏
Cognitive-Inspired Deep Learning Models for Aspect-Based Sentiment Analysis: A Retrospective Overview and Bibliometric Analysis基于认知启发的深度学习模型，用于基于方面的情感分析: 回顾性综述和文献计量分析OAAI
OAAI分享收藏Improving dnn accuracy on mlc pim via non-ideal pim device fine-tuning通过非理想PIM设备的微调来提高MLC PIM上的DNN精度
IF0
PREAI
分享收藏Chiplever: A Hardware-Software Co-Design Framework Toward Extension of Chiplet System for Fully Homomorphic EncryptionChiplever：一种面向全同态加密的芯片系统扩展的软硬件协同设计框架
PREAI
分享收藏
查看更多内容