.png){kind=icon}
返回
Prototype-oriented multimodal emotion contrast-enhancer
.png){kind=icon}
PRE
AI
DOI：10.1016/j.compeleceng.2025.110393.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
原型学习已被证明在少样本学习（few-shot learning）中是有效且可靠的。因此，原型学习也可以执行数据增强工作。同时，尽管基于对比学习（Contrastive Learning）的方法可以缓解数据稀疏性问题，但它们可能会放大原始特征中的噪声。近年来，一系列优秀的模型在多模态情感分析领域涌现。然而，该领域基准数据集的有限规模给模型训练带来了显著挑战。为解决这一问题，我们提出了一种原型-对比增强（prototype-contrast-enhanced）方法用于多模态情感分析。我们的方法结合了对比学习和原型学习，利用改进的对比学习来监督原型学习的有效性，并确保数据增强的有效性。该方法利用原型学习来去噪特征，并使用对比学习来监督原型性能。在训练阶段，我们生成原型表示作为基类。同时，训练阶段的原型表示由对比损失进行监督。在测试阶段，这些基类增强了样本，从而协助模型准确识别情感。为评估我们提出的方法，我们在广泛使用的多模态情感数据集MOSI和MOSEI上进行了实验。我们广泛实验的结果证实了我们所提方法的有效性。代码已公开在https://github.com/925151505/MyCode。
Keyword:
Multimodal sentiment analysis
Prototype learning
Contrastive learning
Data augmentation
期刊
C
IF:
4.9
论文数:
6.7K
被引数:
1.3W
机构
暂无机构信息
引用论文
TPSN: Transformer-based multi-Prototype Search Network for few-shot semantic segmentationTPSN: 基于Transformer的多原型搜索网络，用于少镜头语义分割
PREAI
分享收藏Multimodal Sentiment Intensity Analysis in Videos: Facial Gestures and Verbal Messages视频中的多模态情感强度分析: 面部手势和言语信息
PREAI
分享收藏Self-supervised group meiosis contrastive learning for EEG-based emotion recognition基于自监督组减数分裂对比学习的EEG情绪识别.png)
APPLIED INTELLIGENCE
APPLIED INTELLIGENCEIF3.5
PREAI
分享收藏分享收藏AOBERT: All-modalities-in-One BERT for multimodal sentiment analysisAOBERT: 多模态情感分析的全模态伯特INFORMATION FUSION
INFORMATION FUSIONIF15.5
PREAI
分享收藏Ensemble Pretrained Models for Multimodal Sentiment Analysis using Textual and Video Data Fusion基于文本和视频数据融合的集成预训练模型用于多模态情感分析
OAAI
OAAI分享收藏
A Feature-space Multimodal Data Augmentation Technique for Text-video Retrieval一种面向文本-视频检索的特征空间多模态数据增强技术OAAI
OAAI分享收藏
查看更多内容