Learning Dynamic Frame Semantics for Multimodal Sentiment Analysis

doi:10.1109/taffc.2026.3706491

Learning Dynamic Frame Semantics for Multimodal Sentiment Analysis

2026-07-01

0

PRE

AI

DOI：10.1109/taffc.2026.3706491

原文链接

原文求助

摘要

En 中文

本文研究了框架语义的数学化如何能增强多模态情感分析（MSA）。现有的MSA深度学习方法通常仅关注单一语义框架。相比之下，源自语言学的成熟理论——框架语义学认为，语言认知和解释本质上依赖于根据词汇单元划分并封装在多样化背景知识和概念结构中的多个框架的连贯性。为利用框架语义进行MSA，我们提出了一种新模型，即动态感知框架语义分析（DAFSA）。DAFSA首先将多模态序列特征（如文本、音频和视觉）建模为多模态语义框架。然后，DAFSA能够通过动态学习和总结跨模态及模内框架的连贯结构，提取捕捉细微情感表达的特征表示。实验结果表明，DAFSA显著优于MSA领域的最新方法，甚至优于尺寸比DAFSA大100倍的基线模型，展示了在MSA中建模框架语义的有效性。

Keyword:

Modeling

Sentiment analysis

Visualization

Measurement units

Modules (abstract algebra)

Technology

Labeling

Conferences

Educational institutions

Learning (artificial intelligence)

Multimodal sentiment analysis

frame semantics

mathematical modeling

Learning Dynamic Frame Semantics for Multimodal Sentiment Analysis

摘要

期刊

机构

引用论文