.png){kind=icon}
返回
Long Math Reasoning Problem Generation
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-09368-4_23.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
长文本数学文字问题（MWPs）为大型语言模型（LLM）的推理提供了严格的测试，但可靠的基准测试很少存在，因为手工制作丰富、包含干扰项的叙述工作量大。我们提出了一种自动的短到长流程，将丰富的短MWPs（例如GSM8K）转换为具有丰富上下文的变体，同时严格保持解的正确性。IEC流程分为三个连续阶段：首先，干扰项插入步骤添加答案中立的数字干扰项；接着，扩展步骤使用GPT-4-turbo将现在嘈杂的提示扩展为更长的叙述，同时保留所有原始条件；最后，自动检查阶段过滤任何泄露推理步骤或更改正确答案的草稿，在回滚到上一轮之前最多重新生成三次。将IEC流程应用于1318个GSM8K项目生成一个语料库，其平均长度超过2000个token—是原来的30多倍—同时达到85%的有效率。然后，我们在四个扩展深度上对三个代表性LLM（DeepSeek-chat、GLM-4-plus和Kimi）进行基准测试。所有模型在短源集上表现优异（准确率超过0.93），但随着长度增加性能下降，Kimi在六轮后降至0.39，凸显了长期上下文能力的不足。我们的结果为高质量长文本MWP数据集的规模化生成提供了途径，并揭示了未来模型架构、训练课程和检索/记忆机制必须解决的明确失败模式。
Keyword:
Large Language Models
Dataset Generation
Mathematical Reasoning
期刊
D
IF:
0
论文数:
22
被引数:
0
机构
引用论文
MathAttack: Attacking Large Language Models towards Math Solving AbilityMathAttack：针对数学解题能力的攻击大型语言模型
OAAI
.png){kind=icon}
OAAI分享收藏Program Induction by Rationale Generation: Learning to Solve and
Explain Algebraic Word ProblemsOAAI
OAAI分享收藏分享收藏分享收藏 没有更多内容
没有更多内容