.png){kind=icon}
返回
Enhancing Language Models with Commonsense Knowledge for Multi-turn Response Selection
.png){kind=icon}
PRE
AI
DOI：10.1007/s13042-025-02804-9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
作为高级人工智能的一个分支，对话系统正蓬勃发展。多轮回复选择是对话系统中的一个普遍研究问题。借助背景信息和预训练语言模型，该问题上的最新方法性能取得了显著提升。然而，现有研究忽视了外部常识知识的重要性。因此，我们设计了一个Siamese网络，其中预训练语言模型与图神经网络（SinLG）相结合。SinLG利用预训练语言模型（PLMs）捕捉上下文和回复候选中的词语关联，并利用图神经网络（GNN）从外部知识图谱中推理有用的常识。GNN旨在协助PLM进行微调，并唤醒其相关记忆以获得更好的性能。具体而言，我们首先从外部知识图谱中提取相关概念作为节点，以构建每个样本的子图，其中上下文-回复对作为超节点。接着，我们通过PLM和GNN为上下文-回复对学习两种表示。两种表示之间的相似度损失被用于将常识知识从GNN转移到PLM。然后仅使用PLM进行在线推断，以确保效率。最后，我们在PERSONA-CHAT数据集的两个变体上进行了大量实验，证明了我们的方案不仅能提升PLM的性能，还能实现高效的推断。
Keyword:
Multi-turn response selection
Pre-trained language model
Graph neural network
Commonsense knowledge graph
Information retrieval
期刊
IF:
2.7
论文数:
3.2K
被引数:
5.6K
机构
查看更多机构
引用论文
Word Sense Disambiguation using Cooperative Game Theory and Fuzzy Hindi WordNet based on ConceptNet
.png){kind=icon}
PREAI
分享收藏
没有更多内容