arrow
返回

Do code LLMs do static analysis?

delete2026-04-10
delete0
PRE
AI
C
Chia‐Yi Su *
C
Collin McMillan
DOI:10.1007/s10664-026-10853-zdelete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
本文研究了代码大型语言模型(Code LLMs)在代码智能任务(如代码总结和生成)中静态分析能力。代码大型语言模型因其能够执行原本需要人类完成的编程任务而广为人知。人们执行编程任务的过程长期以来被认为需要静态分析,例如,人类程序员通过导航大型程序的调用图来理解程序的不同部分。编程教育中包含静态分析,前提是更好的静态分析技能能带来更好的编程能力。尽管流行文化中充斥着拟人化参考,如大型语言模型“推理”,但实际上代码大型语言模型可能展现出与人类截然不同的思维过程。本文研究了代码大型语言模型在静态分析方面的具体问题。我们使用三种不同的静态分析任务(调用图生成、抽象语法树生成和数据流生成)和三种不同的代码智能任务(代码生成、总结和翻译),以及两种不同的开源模型(Gemini和GPT-4o)和闭源模型(CodeLlaMA和Jam)进行实验。我们发现,大型语言模型在静态分析任务上表现不佳,且在静态分析任务上的预训练并不能泛化到代码智能任务上的更好表现,反之亦然。
Keyword:
Static analysis
Code intelligence tasks
Large language models
LLM reasoning

期刊

Empirical Software Engineering 封面图
Empirical Software Engineering
IF:
3.6
论文数:
2.0K
被引数:
5.3K

机构

C
computer science and engineering
学者数:
1.3K
论文数: 615
被引数: 0
引用论文

引用论文

An empirical study of static call graph extractors
err1998-04-01
err0
errOAAI
errGail C. Murphy; David Notkin; William G. Griswold; Erica S. Lan
err分享
err收藏
Lost in the Middle: How Language Models Use Long Contexts迷失在中间: 语言模型如何使用长上下文
err2024-02-23
err56
errOAAI
errLiu, Nelson F.; Lin, Kevin; Hewitt, John; Paranjape, Ashwin; Bevilacqua, Michele; Petroni, Fabio; Liang, Percy
err分享
err收藏
err分享
err收藏
srcDiff: A syntactic differencing approach to improve the understandability of deltas
err2019-10-21
err0
PREAI
errMichael John Decker; Michael L. Collard; L. Gwenn Volkert; Jonathan I. Maletic
err分享
err收藏
Competition-level code generation with AlphaCode使用字母码生成竞争级代码
err2022-12-09
err0
errOAAI
errYujia Li; David Choi; Junyoung Chung; Nate Kushman; Julian Schrittwieser; Rémi Leblond; Tom Eccles; James Keeling; Felix Gimeno; Agustin Dal Lago; Thomas Hubert; Peter Choy; Cyprien de Masson d’Autume; Igor Babuschkin; Xinyun Chen; Po-Sen Huang; Johannes Welbl; Sven Gowal; Alexey Cherepanov; James Molloy; Daniel J. Mankowitz; Esme Sutherland Robson; Pushmeet Kohli; Nando de Freitas; Koray Kavukcuoglu; Oriol Vinyals
err分享
err收藏
Mental models and software maintenance
err1987-12-01
err0
PREAI
errDavid C. Littman; Jeannine Pinto; Stanley Letovsky; Elliot Soloway
err分享
err收藏
学者 查看更多内容