返回
Mobile Virtual Assistant for Multi-Modal Depression-Level Stratification
DOI:10.1109/TAFFC.2024.3451114.png)
摘要
En 中文
抑郁症不仅困扰着数亿人,还加剧了全球残疾和医疗保健负担。抑郁症的主要诊断方法依赖于医疗专业人员在临床访谈中对患者的判断,这具有主观性和耗时性。近期研究证明,文本、音频、面部特征、心率和眼动可用于抑郁程度分层。本文构建了一个可在移动设备上自动进行抑郁程度分层的虚拟助手,该助手可通过语音对话主动引导用户,并利用情绪感知改变对话内容。在对话过程中,从文本、音频、面部特征、心率和眼动中提取特征,用于多模态抑郁程度分层。我们采用特征级融合框架整合五种模态,并利用深度神经网络对不同程度的抑郁进行分类,包括健康、轻度、中度或重度抑郁,以及双相情感障碍(曾称为躁郁症)。基于168名受试者的结果数据,实验结果表明,五种模态特征融合的总准确率达到90.26%,为最高。
Keyword:
Depression recognition
multi-modal fusion
virtual human
期刊
IF:
9.8
论文数:
1.4K
被引数:
9.1K

