.png){kind=icon}
返回
Sentence-graph-level knowledge injection with multi-task learning
.png){kind=icon}
PRE
AI
DOI：10.1007/s11280-025-01329-z.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
语言表示学习是自然语言理解的一个基本任务。它旨在表示自然语言句子并分类其中提到的实体和关系，这通常需要将外部实体和关系知识注入句子表示中。现有方法通常通过将知识按顺序连接在句子后面，将事实知识注入预训练语言模型中，而对知识图谱中的结构化信息及其内部交互关系关注较少。在本文中，我们基于句级和图级知识，在微调阶段使用多任务学习框架（SenGraph）学习句子表示。在句级层面，我们通过顺序结构将事实知识与句子连接，并使用句级任务进行训练；在图级层面，我们将所有知识和句子信息构建为图结构，并引入关系GAT以选择性将有用知识注入句子中。同时，我们设计了两个基于图的辅助任务，以对齐自然语言句子与知识图谱之间的异构嵌入空间。我们在四个知识驱动的基准数据集上评估了我们的模型。实验结果表明，所提出的方法在更少的计算资源下具有有效性。
Keyword:
Language representation learning
Knowledge graph
Knowledge injection
Multi-task learning
期刊
W
IF:
3.4
论文数:
52
被引数:
2.3K
机构
暂无机构信息
引用论文
.png){kind=icon}
KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation开普勒: 知识嵌入和预训练语言表示的统一模型
OAAI
OAAI分享收藏Adaptive Knowledge Sharing in Multi-Task Learning: Improving Low-Resource Neural Machine TranslationOAAI
OAAI分享收藏分享收藏
查看更多内容