MindLink: Subject-Agnostic Cross-Subject Brain Decoding Framework

doi:10.1007/978-3-032-05162-2_45

2026-01-01

PRE

Sung‐Yoon Jung

Donghyun Lee

Won Hwa Kim *

DOI：10.1007/978-3-032-05162-2_45

原文链接

原文求助

摘要

En 中文

脑解码是神经科学中的一个关键议题，旨在从脑活动（如fMRI）中重建刺激（如图像）。然而，现有方法依赖特定被试模块并将3D体素网格展平，限制了泛化能力并丢失空间信息。为解决这些问题，我们提出MindLink，一种可扩展的跨被试脑解码框架，通过提取被试不变特征并将多个被试链接到单个模型中，同时保留3D fMRI数据的空间结构。这是通过将3D fMRI分割为标准立方体块并由3D Vision Transformer处理以获取信息性表示来实现的。领域对抗训练通过在单个模型结构中提取被试无关特征来增强跨被试泛化能力。我们还引入了一种两级对齐策略，通过实例级一致性和灵活的token级匹配有效连接fMRI和刺激图像嵌入。MindLink在NSD数据集上实现了与当前最佳方法相当甚至更优的性能，且跨被试参数规模恒定，并表现出对新被试的强适应性。

Keyword:

Cross-subject Brain Decoding

Domain Adversarial Training

Multi-modal Alignment

期刊

MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION - MICCAI 2025, PT XII

IF:

论文数:

被引数:

机构

pohang university of science & technology (postech)

学者数:

391

论文数: 162

被引数: 0

引用论文

A massive 7T fMRI dataset to bridge cognitive and computational neuroscience

IF0

2021-02-22

OAAI

Emily J. Allen; Ghislain St-Yves; Yihan Wu; Jesse L. Breedlove; Logan T. Dowdle; Brad Caron; Franco Pestilli; Ian Charest; J. Benjamin Hutchinson; Thomas Naselaris; Kendrick Kay

Rethinking the Inception Architecture for Computer Vision 重新思考计算机视觉的Inception体系结构

2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

IF0

2016-06-01