.png){kind=icon}
返回
Brain3D: Generating 3D Objects from fMRI
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-025-02609-x.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
理解人类视觉感知背后的隐藏机制是神经科学中的一个基本问题。为此，研究人类心智活动的神经反应，例如功能磁共振成像（fMRI），已成为一项重要的研究工具。然而，分析fMRI信号具有挑战性、成本高昂、令人望而生畏，并且需要专业培训。尽管fMRI分析取得了显著进展，但现有方法仅限于生成2D图像，且远未达到生物学意义和实践应用的要求。基于这一认识，我们提出从脑信号解码生成视觉上合理且功能上更全面的3D输出，以实现对fMRI数据更复杂的建模。在概念上，我们将这项任务重新表述为fMRI条件下的3D对象生成问题。我们设计了一种新颖的3D对象表示学习方法，Brain3D，该方法以被试者在呈现2D图像时的fMRI数据作为输入，并输出相应的3D对象图像。该模型的关键能力包括处理具有高层语义信号的高斯噪声，以及采用两阶段架构设计以渐进式整合高层信息。大量实验验证了我们的模型在性能上优于之前的3D对象生成方法。值得注意的是，我们表明该模型捕获了人类视觉系统中每个区域的独特功能以及它们复杂的相互作用关系，这与神经科学中的既定发现惊人地一致。此外，初步评估表明，Brain3D可以成功识别人类视觉系统中的异常脑区，例如V1、V2、V3、V4以及内侧颞叶（MTL）。我们的数据和代码将可通过https://brain-3d.github.io/获取。
Keyword:
fMRI
3D generation
Diffusion
Brain signal decoding
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
引用论文
Visual and linguistic semantic representations are aligned at the border of human visual cortex
PREAI
分享收藏Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs基于实例条件生成对抗网络，从fMRI模式与语义脑探索中重建感知图像
OAAI
OAAI分享收藏Self-supervised Natural Image Reconstruction and Large-scale Semantic Classification from Brain Activity.png)
NeuroImage
OAAI
NeuroImageIF0
OAAI分享收藏
查看更多内容