返回
Sentence-level multi-modal feature learning for depression recognition
DOI:10.3389/fpsyt.2025.1439577.png)
摘要
En 中文
背景 抑郁症在全球范围内的患病率已显著上升,并受到社会和经济压力的加剧。当前的诊断方法主要利用单模态数据,尽管存在某些多模态策略,但往往未能有效利用每种模态在抑郁症检测中的独特贡献。
方法 本研究从100名参与者(67名抑郁症患者和33名非抑郁症个体)中收集多模态特征,构建了MMD2023数据集,并引入了句子级多模态特征学习(SMFL)方法,这是一种旨在提升抑郁症识别能力的自动化系统。SMFL分析来自医患互动中面部表情、语音特征和转录文本的同步句子级片段。它采用时间卷积网络(TCN)和长短期记忆网络(LSTM)从每种模态中精细提取特征,并遵循对话的结构化时间流。此外,开发了新颖的跨模态联合注意力(CMJAT)机制,以调和不同模态间特征表示的差异,灵活调整每种模态的影响并放大较弱信号,使其与更显著的模态特征相当。
结果 在本研究收集的MMD2023数据集和包含192名患者的公开可用DAIC-WOZ数据集上验证,SMFL分别实现了91%和89%的准确率,在二元抑郁症分类中表现出优越性能。该先进方法不仅提高了抑郁症识别的精度,还确保了平衡且统一的多模态特征表示。
结论 SMFL方法代表了抑郁症诊断流程中的重大进步,有望提供一种符合PHQ-8临床标准的低成本、私密且易获取的诊断工具。通过扩大心理健康资源的可及性,该方法有望革新精神科评估领域,提升抑郁症识别的精度并增强整体心理健康管理基础设施。
Keyword:
depression recognition
multi-modal feature learning
sentence-level
cross-modal joint attention
binary depression classification
期刊
IF:
3.2
论文数:
1.8W
被引数:
4.8W
机构
引用论文
A Global Meta-Analysis of Depression, Anxiety, and Stress Before and During COVID-19新型冠状病毒肺炎前后抑郁、焦虑和压力的全球荟萃分析
HEALTH PSYCHOLOGY
IF3.2

