.png){kind=icon}
返回
EIRA: an explicit-implicit representation alignment for multimodal relation extraction
.png){kind=icon}
PRE
AI
DOI：10.1007/s00530-025-02065-0.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态关系抽取（MRE）旨在通过利用文本和视觉线索来识别实体之间的关系。然而，现有的MRE方法通常因两个关键局限性而效果不佳：（1）从图像中提取语义信息不足，以及（2）多模态语义的融合不够精细。为弥补这些差距，我们提出了显式-隐式表示与对齐（EIRA）模型。EIRA首先引入一个显式-隐式表示模块，协同结合图像描述和句法依存树，全面捕捉图像实体及其语义关系。随后，设计了一个显式-隐式特征对齐模块，通过图对齐和注意力机制实现精细化的语义融合，有效对齐跨模态的语义和结构特征。最后，通过整合词嵌入与学习到的融合语义权重进行关系抽取。广泛的实验结果表明，EIRA显著优于现有的最先进模型，验证了其有效性。
Keyword:
Multimodal relation extraction
Natural language processing
Image captioning
Syntactic dependency tree
期刊
IF:
3.1
论文数:
2.8K
被引数:
2.7K
机构
引用论文
BCRA: bidirectional cross-modal implicit relation reasoning and aligning for text-to-image person retrieval.png)
MULTIMEDIA SYSTEMS
MULTIMEDIA SYSTEMSIF3.1
PREAI
分享收藏Enhancing Multimodal Entity and Relation Extraction With Variational Information Bottleneck利用变分信息瓶颈增强多模态实体和关系抽取
OAAI
OAAI分享收藏MFGCN: Multimodal fusion graph convolutional network for speech emotion recognitionMFGCN: 用于语音情感识别的多模态融合图卷积网络NEUROCOMPUTING
OAAI
NEUROCOMPUTINGIF6.5
OAAI分享收藏Document-level relation extraction via commonsense knowledge enhanced graph representation learning基于常识知识增强图表示学习的文档级关系提取APPLIED INTELLIGENCE
APPLIED INTELLIGENCEIF3.5
PREAI
分享收藏The more quality information the better: Hierarchical generation of multi-evidence alignment and fusion model for multimodal entity and relation extraction质量信息越多越好: 多模态实体和关系抽取的多证据对齐与融合模型的分层生成
PREAI
分享收藏TSPNet: Translation supervised prototype network via residual learning for multimodal social relation extractionTSPNet: 基于残差学习的多模态社会关系抽取的翻译监督原型网络NEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏Encoder-decoder with bilateral gated fusion for multimodal relation extraction双向门控融合的编码器-解码器模型用于多模态关系抽取MULTIMEDIA SYSTEMS
MULTIMEDIA SYSTEMSIF3.1
PREAI
分享收藏Joint multimodal entity-relation extraction based on temporal enhancement and similarity-gated attention基于时间增强和相似性门控注意力的多模态实体关系联合抽取
PREAI
分享收藏
查看更多内容