.png){kind=icon}
返回
Correctness assessment of code generated by Large Language Models using internal representations
.png){kind=icon}
PRE
AI
DOI：10.1016/j.jss.2025.112570.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
确保大型语言模型（LLMs）生成的代码的正确性是AI驱动软件开发中的一个重大挑战。现有方法主要依赖黑盒（闭盒）方法，在代码生成后评估正确性，未能利用LLMs在代码生成过程中内部状态中嵌入的丰富见解。这一局限性导致错误检测延迟、调试成本增加以及部署的AI辅助编码工作流可靠性降低。在本文中，我们介绍了Openia，一种新型白盒（开盒）框架，利用这些内部表示来评估LLMs生成的代码的正确性。通过对DeepSeek-Coder、Code Llama和Magicoder等代表性开源代码LLMs在多样化代码生成基准上的中间状态进行系统分析，我们发现这些内部表示编码了潜在信息，这与生成代码的正确性高度相关。基于这些见解，Openia采用白盒/开盒方法对代码正确性做出明智预测，在适应性和鲁棒性方面相较于传统黑盒方法和零样本方法具有显著优势。我们的结果显示，Openia持续优于基线模型，在独立代码生成中实现高达2倍的改进，在仓库特定场景中实现3倍的增强，并达到更高的准确率、精确率、召回率和F1分数。通过释放过程中信号（in-process signals）的潜力，Openia为LLM辅助代码生成中的更主动和高效的质量保证机制铺平了道路。
期刊
IF:
4.1
论文数:
5.5K
被引数:
8.4K
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏分享收藏A Large-Scale Survey on the Usability of AI Programming Assistants: Successes and Challenges大规模调查AI编程助手可用性：成功与挑战
OAAI
OAAI分享收藏
查看更多内容