Multi-level graph self-supervised learning for multi-modal medical corpus construction

doi:10.1016/j.patcog.2025.112113

Multi-level graph self-supervised learning for multi-modal medical corpus construction

2025-07-12

0

PRE

AI

DOI：10.1016/j.patcog.2025.112113

原文链接

原文求助

摘要

En 中文

多模态医学语料库，作为一种新颖的计算机辅助医学诊断和学习研究工具，在探索致病机制方面具有重要价值。然而，在神经科学领域，脑成像数据通常缺乏语义标签，这使得多模态医学语料库的构建具有挑战性。功能性磁共振成像（fMRI）作为一种常用的脑成像技术，可用于研究功能脑网络并进行分类以获取标签。此外，由于数据样本有限，开发用于脑网络分类的图基础模型具有重要意义。我们提出了一种多级图自监督学习（MLGSL）方法，通过执行多级预训练任务来揭示与疾病相关的相关性模式。然后利用该图基础模型对脑网络进行分类以获取语义标签。此外，通过将潜在生物标志物与通过大型语言模型匹配的相关文本相结合，可以构建多模态医学语料库。具体而言，MLGSL首先在个体层面进行功能脑网络链接预测任务，并在群体关联网络上进行群体层面的链接预测任务。在预训练任务的编码器部分，所提出的“多通道增强注意力图卷积”通过连接强度加强注意力机制，同时整合从不同视角学习到的可见节点表示。随后，MLGSL通过微调对功能脑网络进行类别预测。实验表明，MLGSL实现了最优的脑网络分类性能，从而能够获取准确的语义标签。通过结合脑成像数据与关键文本信息，可以构建多模态医学语料库，为病理信息的解释和疾病的临床诊断提供重要价值。

Keyword:

multi-modal medical corpus

graph self-supervised learning

functional brain network classification

semantic labels

biomarkers

Multi-level graph self-supervised learning for multi-modal medical corpus construction

摘要

期刊

机构

引用论文