.png){kind=icon}
返回
CATVis: Context-Aware Thought Visualization
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04927-8_10.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于脑电（EEG）的脑机接口（BCI）已在多种应用中展现出潜力，例如运动想象和认知状态监测。然而，由于脑电信号复杂且噪声较大，从脑电信号解码视觉表示仍是一个重大挑战。因此，我们提出了一种新颖的5阶段框架，用于从脑电信号解码视觉表示：（1）用于概念分类的脑电编码器；（2）在CLIP特征空间中实现脑电和文本嵌入的跨模态对齐；（3）通过重排序进行字幕优化；（4）通过概念和字幕嵌入的加权插值实现更丰富的语义；（5）使用预训练的Stable Diffusion模型生成图像。我们通过跨模态对齐和重排序实现了上下文感知的脑电到图像生成。实验结果表明，我们的方法能够生成与视觉刺激对齐的高质量图像，在分类准确率上优于现有最佳方法（SOTA）27.08%，在生成准确率上提高15.21%，并使Fréchet Inception Distance降低36.61%，表明其在语义对齐和图像质量方面具有显著优势。代码可在https://github.com/CVLABLUMS/CATVis获取。
Keyword:
Brain-Computer Interfaces (BCIs)
EEG Decoding
Visual Reconstruction
Cross-Modal Alignment
期刊
机构
引用论文
Identification and Removal of Physiological Artifacts From Electroencephalogram Signals: A Review.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏分享收藏Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding
OAAI
OAAI分享收藏
查看更多内容