arrow
返回

Sentence-level multi-modal feature learning for depression recognition

delete2025-03-21
delete0
delete
OA
AI
G
Guanghua Zhang *
G
Guangping Zhuo
Y
Yang Yang
A
Augix Guohua Xu
S
Shukui Ma
H
Hao Liu
R
Ren, Zhiyong *
DOI:10.3389/fpsyt.2025.1439577delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
背景 抑郁症在全球范围内的患病率已显著上升,并受到社会和经济压力的加剧。当前的诊断方法主要利用单模态数据,尽管存在某些多模态策略,但往往未能有效利用每种模态在抑郁症检测中的独特贡献。 方法 本研究从100名参与者(67名抑郁症患者和33名非抑郁症个体)中收集多模态特征,构建了MMD2023数据集,并引入了句子级多模态特征学习(SMFL)方法,这是一种旨在提升抑郁症识别能力的自动化系统。SMFL分析来自医患互动中面部表情、语音特征和转录文本的同步句子级片段。它采用时间卷积网络(TCN)和长短期记忆网络(LSTM)从每种模态中精细提取特征,并遵循对话的结构化时间流。此外,开发了新颖的跨模态联合注意力(CMJAT)机制,以调和不同模态间特征表示的差异,灵活调整每种模态的影响并放大较弱信号,使其与更显著的模态特征相当。 结果 在本研究收集的MMD2023数据集和包含192名患者的公开可用DAIC-WOZ数据集上验证,SMFL分别实现了91%和89%的准确率,在二元抑郁症分类中表现出优越性能。该先进方法不仅提高了抑郁症识别的精度,还确保了平衡且统一的多模态特征表示。 结论 SMFL方法代表了抑郁症诊断流程中的重大进步,有望提供一种符合PHQ-8临床标准的低成本、私密且易获取的诊断工具。通过扩大心理健康资源的可及性,该方法有望革新精神科评估领域,提升抑郁症识别的精度并增强整体心理健康管理基础设施。
Keyword:
depression recognition
multi-modal feature learning
sentence-level
cross-modal joint attention
binary depression classification

期刊

Frontiers in Psychiatry 封面图
Frontiers in Psychiatry
IF:
3.2
论文数:
1.8W
被引数:
4.8W

机构

T
taiyuan psychiat hosp
学者数:
1
论文数: 1
被引数: 0
T
Taiyuan University
学者数:
248
论文数: 174
被引数: 2
T
Taiyuan Normal University
学者数:
1.1K
论文数: 743
被引数: 702
学者 查看更多机构
引用论文

引用论文

Verbal fluency in bipolar disorders: A systematic review and meta-analysis
err2017-01-01
err68
PREAI
errRaucher-Chene, Delphine; Achim, Amelie M.; Kaladjian, Arthur; Besche-Richard, Chrystel
err分享
err收藏
The PHQ-8 as a measure of current depression in the general population
err2009-04-01
err3.7K
PREAI
errKroenke, Kurt; Strine, Tara W.; Spitzer, Robert L.; Williams, Janet B. W.; Berry, Joyce T.; Mokdad, Ali H.
err分享
err收藏
Automated voice biomarkers for depression symptoms using an online cross‐sectional data collection initiative
err2020-05-07
err0
errOAAI
errLarry Zhang; Radhika Duvvuri; Kiranmayi K. L. Chandra; Theresa Nguyen; Reza H. Ghomi
err分享
err收藏
DepressionEmo: A novel dataset for multilabel classification of depression emotions
err2024-12-01
err1
errOAAI
errRahman, Abu Bakar Siddiqur; Ta, Hoang-Thang; Najjar, Lotfollah; Azadmanesh, Azad; Gonul, Ali Saffet
err分享
err收藏
err分享
err收藏
Depression and Suicide Risk Screening Updated Evidence Report and Systematic Review for the US Preventive Services Task Force
err2023-06-20
err35
errOAAI
errO'Connor, Elizabeth A.; Perdue, Leslie A.; Coppola, Erin L.; Henninger, Michelle L.; Thomas, Rachel G.; Gaynes, Bradley N.
err分享
err收藏
学者 查看更多内容