.png){kind=icon}
返回
Prompting Large Language Models for fMRI-Based Brain Semantic Decoding
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-4378-6_27.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
脑解码，旨在从神经活动中重建感知体验或认知状态，随着大型语言模型（LLMs）的集成已取得显著进展。本研究探讨了不同LLM架构（GPT [11]和Llama-3）、模型规模（Llama-3的参数从1B到70B）以及指令提示对fMRI数据语义解码准确率的影响。利用公开的fMRI数据集，参与者收听语音叙事或观看无声电影，我们改进了先前建立的解码框架[15]。研究发现，Llama-3在脑活动编码方面总体优于GPT模型。在解码过程中，提示对Llama-3模型的影响尤为关键。对于语音收听任务，虽然先前研究中使用的微调GPT展示了较强的基线准确率，但无提示的Llama-3模型表现显著较低。然而，通过有效引导和约束模型输出以趋向更任务相关内容的指令提示，Llama-3的性能显著提升，在多个指标上达到与微调GPT相当的结果。此外，在更具挑战性的电影数据集上，需要使用仅用听觉语音训练的编码模型来解码无声视觉叙事，提示后的Llama-3模型频繁超越GPT模型。尽管较低的电影解码准确率凸显了跨任务泛化限制，但提示LLMs的性能展示了巨大潜力，强调了脑解码中需要更灵活的编码策略。
Keyword:
Brain Decoding
fMRI
Large Language Models
期刊
N
IF:
0
论文数:
36
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏The neural architecture of language: Integrative modeling converges on predictive processing语言的神经体系结构: 集成建模收敛于预测处理
OAAI
OAAI分享收藏Semantic reconstruction of continuous language from non-invasive brain recordings基于非侵入性脑记录的连续语言的语义重建OAAI
OAAI分享收藏 没有更多内容
没有更多内容