.png){kind=icon}
返回
Compressed video-driven multimodal modeling and interaction for dynamic expression recognition
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2026.116590.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现有的大部分动态面部表情识别（DFER）算法是基于原始视频数据开发的，例如使用3D CNN-、RNN-或Transformer-基模型来融合原始视频的时间线索，而它们忽视了实践中获取的视频由于低存储需求的优点而通常为压缩视频。因此，这些算法可能过度拟合原始视频中的冗余模式，并无法利用压缩数据中可用的多模态信息。为解决这些问题，我们提出了一个基于压缩视频的DFER框架。与其他仅使用解码RGB帧的方案不同，我们的方法完全在压缩域中进行，并使用所有现有多模态信息，即I帧、运动矢量和残差，旨在充分利用压缩视频的多模态信息及其交互。为获取更丰富的表情特征，我们设计了一种多模态交互注意力范式，基于压缩视频表征来建模时间模态序列、跨模态加权、多模态交互和同模态增强。我们的算法不仅受益于多模态表征的模态并行时间建模以考虑每种模态的特性，还受益于跨模态加权、多模态交互和同模态增强。广泛的实验和消融研究显示，我们的方法在三个基准数据集（即Oulu-CASIA、AFEW和DFEW）上达到了当前最佳（SOTA）结果。我们的代码公开在https://github.com/JunLiangZ/CompressedVideo-DFER。
Keyword:
Dynamic expression recognition
Compressed video
Modal-parallel temporal modeling
Multimodal interaction
