.png){kind=icon}
返回
Discourse-Aware Language Representation
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3621229.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期基于Transformer的语言表示技术通常采用将文本上下文建模为连续词元线性序列的直接方法。然而，这种顺序建模策略在主动探索自然语言中的中间结构方面存在不足，并且未能考虑句子之间的丰富交互关系。为克服这些局限性，我们提出了一种语篇感知框架，弥合了顺序上下文表征与对话阅读理解交互本质之间的差距。具体而言，我们首先将上下文划分为基本语篇单元（EDUs），确保每个单元包含恰好一个条件。然后，我们系统地探索了三种语篇特征建模实例：顺序EDU编码、语篇感知掩码和语篇图网络。这些技术使我们能够捕捉语篇内部的细微交互。为评估我们方法的有效性，我们在三个对话阅读理解任务上进行了实验：多轮回复选择、对话式问答和对话式机器阅读。实验结果证明了我们提出方法的优势。此外，分析表明，语篇感知方法使模型能够有效捕捉上下文中的复杂关系，并促进推理可解释性。此外，我们的方法在不同骨干预训练语言模型（PLMs）和不同领域均表现出有效性。
Keyword:
Natural language processing
language representation
large language models
conversational dialogue modeling
natural language generation
response selection
reading comprehension
conversational question answering
deep neural networks
graph convolutional networks
chatGPT
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容