返回
CRMR: A Collaborative Multistep Reasoning Framework for Solving Mathematical Problems
DOI:10.1007/s11633-024-1531-3.png)
摘要
En 中文
大型语言模型(LLMs)在推理过程中生成的原因链通常容易受到导致错误推理步骤的幻觉影响。此类误导性的中间推理步骤可能会引发一系列错误。通过使用验证方法获取反馈并调整推理过程,可以缓解这种现象,类似于人类的反思过程。在本文中,我们提出了一种用于数学推理的协作推理框架CRMR,其中生成器负责生成结构化的中间推理,验证器对推理的每一步提供详细反馈。具体而言,我们制定了一种严格形式的结构化中间推理,称为分步理由(SSR)。我们不仅对数学文字问题进行了CRMR框架的评估,还独立使用了开源和闭源的不同参数规模的模型进行了实验。结果表明,我们的方法充分利用了模型的推理能力,与单一模型相比,在数据集上取得了显著成果。
Keyword:
Large language models
prompt engineering
natural language processing
cooperative reasoning
multi-step reasoning
期刊
IF:
8.7
论文数:
303
被引数:
882
机构
引用论文
RESPROMPT: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models残差连接提示推进大型语言模型中的多步推理
P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and TasksP调整: 即时调整可以与跨规模和任务的微调相媲美

