Learning to encode and activate internal knowledge for retrieval and generation

doi:10.1016/j.ipm.2026.104994

Learning to encode and activate internal knowledge for retrieval and generation

2026-06-01

0

PRE

AI

DOI：10.1016/j.ipm.2026.104994

原文链接

原文求助

摘要

En 中文

检索增强生成通常依赖于外部检索模块来提供知识，这引入了对检索质量的依赖并限制了模型充分利用其参数化知识的能力。为解决这些挑战，我们提出学习编码和激活内部知识用于检索和生成（Learning to Encode and Activate INternal Knowledge for Retrieval And Generation，简称LINK-RAG），一种使模型能够利用内化知识回答查询而无需依赖外部检索的框架。为提供细粒度且与查询对齐的编码信号，我们引入一种基于查询的文档表示策略，将每个文档转化为涵盖实体、关系、数值和事件的多维伪查询。具体而言，事件标识符以简洁且语义明确的方式捕获文档中描述的关键动作和状态变化，从而加强用户查询与模型学习到的参数化知识之间的对应关系。为进一步增强内部知识的激活，我们设计了一种内部知识感知的强化学习策略，奖励模型在生成过程中使用相关参数化信息。在包括HotpotQA、2WikiMultiHopQA和MuSiQue在内的三个多跳推理基准测试中，实验表明LINK-RAG显著提升了生成质量。以Qwen-2.5-7B为骨干模型，LINK-RAG在HotpotQA上相较于最强基线提升了4.1 F1和5.0 LLM-as-Judge。LINK-RAG还增强了隐式检索能力，平均提升Recall@5 6.8个百分点，在2WikiMultiHopQA上增加11.3个百分点。这些结果证明了内部知识激活在恢复证据和生成准确答案方面的有效性。

Keyword:

Event oriented document representation

Internal knowledge activation

Retrieval augmented generation

Large language models

Learning to encode and activate internal knowledge for retrieval and generation

摘要

期刊

机构

引用论文