.png){kind=icon}
返回
Object-scene semantics correlation analysis for image emotion classification
.png){kind=icon}
OA
AI
DOI：10.3389/fnins.2025.1657562.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像情感分类（IEC）；它通过图像预测人类的情感感知；因其广泛应用而成为研究热点。最近，大多数现有方法主要关注通过挖掘语义信息来预测情感。然而，低级像素与高级情感之间的“情感鸿沟”限制了语义表示并降低了模型性能。心理学研究表明，情感可以通过图像中有意义的物体与其丰富环境之间的相互作用来触发。受此启发，我们提出了一个对象-场景注意力融合网络（OSAFN），它利用对象级概念和场景级推理作为辅助信息以增强情感分类。
方法：所提出的OSAFN设计了两种不同的策略来提取语义信息。具体而言，通过利用外部概念提取工具选择概念，并引入基于评估的链式思维（Appraisal-CoT）提示，以引导大型语言模型生成场景信息。接着，开发了两种不同的基于注意力的模块，用于对齐语义特征与视觉特征以增强视觉表示。然后，引入了一种自适应融合策略，用于整合对象语义流和场景语义流的结果。此外，提出了一种极性感知对比损失，用于建模情感的层次结构，提高细粒度情感类别的可区分性。
结果与讨论：为评估OSAFN的有效性，我们在四个情感数据集上进行了数值实验。结果表明，OSAFN实现了卓越的性能，并在IEC领域做出了显著贡献。
期刊
IF:
3.2
论文数:
1.6W
被引数:
5.3W
机构
暂无机构信息
引用论文
Improved IEC performance via emotional stimuli-aware captioning. Sci. Rep. 15:22173通过情感刺激感知的标题生成提升IEC性能。Sci. Rep. 15:22173.png)
IF0
PREAI
分享收藏分享收藏Emotional category data on images from the international affective picture system来自国际情感图片系统的图像情感类别数据
OAAI
OAAI分享收藏
查看更多内容