返回
AttDNet: An attribute-driven deep learning network for visual emotion analysis
DOI:10.1016/j.patcog.2025.112098.png)
摘要
En 中文
随着多媒体技术的快速发展,越来越多的人倾向于通过图像在互联网上表达观点。因此,视觉情感分析(VEA)已引起世界各地学者的广泛关注。然而,情感是一个高度主观的概念,可能受到图像的各种属性的影响,例如颜色、亮度、面部、物体、场景等等。这些属性与人类认知情感的过程相关联,并且它们不仅存在于全局特征中,也存在于局部特征中。然而,大多数现有方法仅依赖于全局特征进行分类。一些方法关注浅层局部特征,但获得的信息不够全面。为了全面提取图像中的情感相关属性信息,我们提出了一种基于属性的深度学习网络(AttDNet)。该网络包含一个具有多个模块的属性分支和一个能够获取面部属性的面部分支。属性分支中的模块专注于图像中的各种属性信息。其中,CSCAM模块可以提取图像的颜色信息和关键物体,LEconv模块可以提取图像中物体的上下文信息,MLPooling模块可以提取图像中的场景信息。此外,为了使同一情感类别的样本更接近,我们使用CenterLoss来约束模型。实验结果表明,所提出的方法在公开数据集上达到了最先进的准确率。
Keyword:
visual emotion analysis
attribute-driven deep learning
color information
facial attributes
scene context

