.png){kind=icon}
返回
MSTDD: A Multi-scale Transformer Framework for Automatic Depression Detection
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-3456-2_13.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
自动抑郁检测（ADD）方法利用多模态数据，包括文本、音频和视觉信息，以促进早期临床诊断和干预。然而，当前的ADD方法主要建模全局或单尺度特征，因此未能充分捕捉细粒度的局部抑郁线索，且未能充分挖掘跨模态的互补信息。本文提出MSTDD，一种基于多尺度Transformer的方法，旨在通过有效提取和整合多尺度抑郁相关特征来解决这些局限性。具体而言，MSTDD采用模态特定的多尺度编码器来捕捉层次化的局部抑郁指标，并引入一种多模态交叉注意力融合机制，以促进模态间的鲁棒特征交互。在两个基准抑郁数据集DAIC-WOZ（AVEC 2017）和E-DAIC（AVEC 2019）上进行的广泛比较评估和消融实验表明，MSTDD优于当前最先进的ADD方法，在DAIC-WOZ上达到0.82的平均F1分数，在E-DAIC上达到0.80。此外，我们还比较了不同融合策略下的基线模型，进一步验证了所提出方法的有效性。
Keyword:
Automatic Depression Detection
Multi-Scale Transformer
Multimodal Fusion
Depression Detection
Cross-Attention
期刊
A
IF:
0
论文数:
22
被引数:
0
机构
引用论文
A Hybrid Model for Depression Detection With Transformer and Bi-directional Long Short-Term Memory
PREAI
分享收藏Approximating the Mental Lexicon from Clinical Interviews as a Support Tool for Depression Detection
PREAI
分享收藏Detecting depression from facial actions and vocal prosody.png)
2009 3rd International Conference on Affective Computing and Intelligent Interaction and Workshops
2009 3rd International Conference on Affective Computing and Intelligent Interaction and WorkshopsIF0
PREAI
分享收藏Exploiting Vocal Tract Coordination Using Dilated CNNS For Depression Detection In Naturalistic EnvironmentsICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
OAAI
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)IF0
OAAI分享收藏分享收藏分享收藏
查看更多内容