返回
ReflectRAG: Enhancing retrieval-augmented generation with GRPO-optimized iterative reflection
DOI:10.1016/j.neucom.2026.134047.png)
摘要
En 中文
ReflectRAG通过结构化规划、迭代反思和强化学习(RL)增强检索增强生成(RAG),以解决无关检索和单次生成错误问题。具体而言,ReflectRAG首先检索并重排文档,基于事实性计划生成答案。随后,ReflectRAG利用反思模块迭代批判和优化计划与答案,并通过RL优化反思模块。通过整合规划、反思与RL,ReflectRAG确保答案精确且上下文一致,为开放域问答(QA)提供稳健解决方案。为验证所提模型的有效性,我们在MS MARCO v2.1、TriviaQA(TQA)和Natural Questions(NQ)上进行了广泛实验。三个开放域数据集的对比结果表明,ReflectRAG在MS MARCO v2.1、TriviaQA和NQ上较BASE RAG基线绝对F1值提升最高达+0.31,证明ReflectRAG是提升QA系统事实准确性和连贯性的有效方案。源代码可访问https://github.com/uncxlirh/ReflectRAG。
Keyword:
Retrieval-Augmented Generation
Iterative Reflection
Reinforcement Learning
Question Answering
Structured Planning

