.png){kind=icon}
返回
A knowledge-enhanced network for joint multimodal entity-relation extraction
.png){kind=icon}
PRE
AI
DOI：10.1016/j.ipm.2024.104033.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在多模态分析领域，多模态命名实体识别（MNER）和多模态关系抽取（MRE）是两项关键任务，旨在通过利用文本-图像对中的集成信息来识别命名实体及其关系。最近，联合多模态实体-关系抽取（JMERE）作为一种统一任务出现，旨在结合MNER和MRE，利用两者之间的双向交互以提升性能。然而，现有的JMERE研究主要侧重于通过特征对齐来改进视觉信息的利用，当社交媒体文本及其配图缺乏充足信息时，这种方法往往效果不佳，导致实体类型和关系识别出现错误。为应对这一挑战，我们提出了KEJME，一种为JMERE任务量身打造的知识增强网络。KEJME利用GPT-3.5和ConceptNet作为知识源，通过注入外部知识来补充文本-图像对中缺失的上下文信息。此外，为确保导入知识的关联性，我们引入了一个知识特征选择模块，该模块根据不同的视觉对象和文本实体对知识特征进行细粒度选择。大量实验表明，KEJME显著超越了现有先进方法，在召回率和F1分数上均实现了显著提升。这些发现强调了外部知识整合和细粒度知识选择在推进多模态实体-关系抽取中的关键作用。
Keyword:
Joint multimodal entity-relation extraction
Knowledge graphs
Large language models
期刊
I
IF:
6.9
论文数:
5.2K
被引数:
1.4W
机构
暂无机构信息
引用论文
.png){kind=icon}
Explainable Knowledge reasoning via thought chains for knowledge-based visual question answering基于思维链的可解释知识推理，用于基于知识的视觉问答
PREAI
分享收藏Multi-granularity cross-modal representation learning for named entity recognition on social media面向社交媒体命名实体识别的多粒度跨模态表示学习
PREAI
分享收藏End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures使用序列和树结构上的lstm进行端到端关系提取
OAAI
OAAI分享收藏
查看更多内容