.png){kind=icon}
返回
CodeMind: Evaluating Large Language Models for Implicit and Explicit Code Execution Reasoning
.png){kind=icon}
PRE
AI
DOI：10.1109/tse.2026.3691250.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型（LLMs）已被广泛应用于自动化编程任务。其能力通过测试或证明评估生成代码的质量进行了评估。它们能够在多大程度上进行代码推理是一个关键问题，揭示了关于其真实能力的重要见解。本文介绍了CodeMind框架，该框架旨在通过以下显式和隐式代码推理任务来衡量LLMs的代码推理能力：独立执行推理（IER）、规范推理（SR）和动态语义推理（DSR）。前者评估LLMs模拟给定输入代码的执行并预测输出的能力（IER）；后者评估LLMs将测试数据模拟纳入规范中的代码生成能力（SR）；最后，CodeMind评估LLMs仅根据特定输入/输出理解整体代码语义的能力（DSR）。我们对13个LLMs在四个广泛使用的基准测试中使用CodeMind进行的广泛评估表明，LLMs根据其规模和训练策略，能够推理代码的一些动态方面。然而，对于复杂代码、嵌套代码结构、非原始类型和类内依赖性，其性能会下降。我们表明，这些推理任务以不同方式评估LLMs，全面的代码推理评估需要所有这些任务。最后，我们表明LLMs在错误修复中的性能与任何代码推理任务均无相关性，除先进的尖端模型外，其他LLMs在执行错误修复时并未进行代码推理。鉴于程序修复需要执行推理（以确定错误代码行为与指定行为差异的位置以定位错误）以及规范和动态语义推理（以重写代码使补丁保持正确语义但修复与规范的语义不匹配），这一观察提出了一个问题：我们在多大程度上可以信任这些模型来处理需要代码理解和分析的编程任务。
Keyword:
Code reasoning
large language models
program repair
期刊
IF:
5.6
论文数:
2.9K
被引数:
1.1W
机构
引用论文
A Tool for In-depth Analysis of Code Execution Reasoning of Large Language Models大型语言模型代码执行推理的深度分析工具
.png){kind=icon}
PREAI
分享收藏
分享收藏
查看更多内容