.png){kind=icon}
返回
LLM-Based Explainable Detection of LLM-Generated Code in Python Programming Courses
.png){kind=icon}
PRE
AI
DOI：10.1145/3770762.3772605.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在入门编程课程中，学生越来越多地提交由大型语言模型（LLMs）生成的代码，而不是独立解决问题。这种日益增长的依赖性引发了关于学生编程技能发展的担忧。为了减少过度依赖并促进独立解决问题，我们提出了一种可解释的检测框架，该框架预测代码提交是否由LLM生成，并提供对其预测的解释。在需要透明度和反馈的教育环境中，此类解释至关重要。为此，我们构建了一个包含学生编写代码和LLM生成代码的数据集，并配以使用GPT-4o自动生成的解释。我们使用二分类标签（学生编写或LLM生成）和解释对多个代码专用LLMs进行微调。最终模型达到超过99%的准确率，并生成与预测一致的有意义的解释，这些均得到人类讲师的验证。我们还对过去的编程课程数据应用了我们的检测器，发现LLM生成提交的比例急剧增加——从2022A的接近0%上升到2024A的超过40%。最后，我们讨论了误报问题，并建议如何在编程课程中负责任地部署可解释的检测。代码和提示已公开在https://github.com/ku21fan/LLM-code-detector。
Keyword:
Large language model
LLM-generated code
Explainable detection
LLM-based detector
Explanation generation
Python programming
期刊
机构
引用论文
SANN: Programming Code Representation Using Attention Neural Network with Optimized Subtree ExtractionSANN：基于注意力神经网络和优化子树提取的编程代码表示
.png){kind=icon}
PREAI
分享收藏
Attitudes Towards the Use (and Misuse) of ChatGPT: A Preliminary Study对ChatGPT使用（及滥用）的态度：一项初步研究
PREAI
分享收藏 没有更多内容
没有更多内容