.png){kind=icon}
返回
Multilevel Multimodal Visual Neural Decoding for Generalized Visual Object Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/tcds.2026.3674164.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
对人眼视觉神经信号的解码因其在揭示大脑潜在认知机制方面的潜力而备受关注。然而，现有的视觉神经解码方法主要关注实例级多模态语义对应关系，往往忽略了局部级和概念级监督信息。这些局限性显著削弱了它们对下游任务的泛化能力。本研究提出了一种多级多模态视觉神经解码框架，利用配对图像刺激与大脑活动之间的多级语义对应关系来解决这些局限性。具体而言，我们首先采用实例级对齐模块来捕捉大脑活动—图像对之间的对应关系。随后，利用交叉注意力机制学习不同模态标记之间的匹配。局部级对齐模块进一步基于匹配的标记利用局部语义信息来建立精细的局部对应关系。为捕捉概念级对应关系，我们设计了动量更新策略以生成不同模态的原型。概念级对齐模块随后利用基于原型的语义信息来捕捉概念级多模态对应关系。多级多模态语义对应关系的协同学习显著提升了通用视觉目标识别的性能。在公开可用的视觉神经数据集上进行的广泛实验证明了所提出的多级多模态学习框架的优越性。
Keyword:
Contrastive learning
multimodal learning
visual neural decoding
visual object recognition
期刊
IF:
4.9
论文数:
1.1K
被引数:
3.5K
机构
查看更多机构
引用论文
暂无论文信息