.png){kind=icon}
返回
MPF: A Multi-Level Perceiving Framework for Multimodal Sarcasm Detection
.png){kind=icon}
PRE
AI
DOI：10.1016/j.inffus.2026.104436.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态反讽检测旨在通过整合图像、音频和文本等多模态信息来识别反讽表达，并捕捉这些模态间的情感不一致性。然而，大多数先前方法侧重于设计静态、固定的网络架构，主要强调将跨模态不一致性作为反讽的线索进行检测。这些方法往往忽视了在解释复杂且微妙的反讽交流时动态调整跨模态注意力的重要性，尤其是在对话场景中。为解决这些局限性，我们提出了一种多级感知框架（MPF）——一种用于动态学习和协调模内及模间粗粒度和细粒度特征的新型多模态反讽检测方法。MPF包含三个核心组件：多视角交互模块、跨模态路由交互模块和跨模态语义引导不一致性学习模块。这些组件使框架能够根据上下文灵活调整跨模态关注点，同时捕捉各模态细粒度特征中固有的情感语义。在多个公开数据集上的广泛实验以及与最先进方法的比较分析表明了所提出框架的有效性和优越性。定性和定量评估均突显了MPF在处理多样化反讽场景时的适应性和增强性能。
Keyword:
Multimodal sarcasm detection
Cross-modal attention
Emotional incongruity
Multi-level perception
Conversational sarcasm
期刊
IF:
15.5
论文数:
4.2K
被引数:
2.7W
机构
引用论文
暂无论文信息