.png){kind=icon}
返回
DeepCodeProbe: Evaluating Code Representation Quality in Models Trained on Code
.png){kind=icon}
PRE
AI
DOI：10.1007/s10664-025-10731-0.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于代码及其提取的工件（如版本控制历史、代码差异等）训练的机器学习模型，为软件工程任务提供了宝贵的支持。尽管这些模型表现出良好的性能，但目前仍缺乏对训练这些模型所使用的代码表示质量的理解，以及不同表示如何影响其学习过程。这一差距限制了我们在基于机器学习的软件工程领域系统地评估和改进表示质量的能力。因此，我们提出了DeepCodeProbe，一种用于分析代码表示质量及其对模型学习影响的框架。我们对当前用于代码的机器学习模型的研究表明，高质量的、结构化的表示能够在无需理解完整编程语法的情况下，有效学习任务特定的模式。我们证明了代码结构表示的质量比单纯增加模型尺寸对模型性能更为重要。进一步分析表明，在使用高质量表示时，有选择地扩展模型特定部分的效果优于扩展整个架构。基于我们的结果，我们概述了提高代码相关任务中机器学习模型表示质量的实用步骤。为支持未来的工作，我们发布了一个可复现的软件包，允许对不同的代码专用机器学习模型进行表示质量的比较分析。这项工作加深了我们对于基于代码训练的机器学习模型中表示质量的理解，为开发更高效和鲁棒的软件工程工具奠定了基础。
Keyword:
Code representation
Deep learning
Pre-trained language model
Probing
Data quality
Data representation
期刊
IF:
3.6
论文数:
2.0K
被引数:
5.3K
机构
暂无机构信息
引用论文
Unveiling Code Pre-Trained Models: Investigating Syntax and Semantics Capacities发布代码预训练模型: 调查语法和语义能力
OAAI
.png){kind=icon}
OAAI分享收藏Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead停止解释高风险决策的黑盒机器学习模型，而改用可解释的模型
OAAI
OAAI分享收藏An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation通过神经机器翻译在野外学习错误修复补丁的实证研究OAAI
OAAI分享收藏分享收藏Software defect prediction using stacked denoising autoencoders and two-stage ensemble learning基于堆叠去噪自编码器和两级集成学习的软件缺陷预测
PREAI
分享收藏Deep learning application on code clone detection: A review of current knowledge深度学习在代码克隆检测中的应用: 当前知识综述
PREAI
分享收藏
查看更多内容