.png){kind=icon}
返回
LevDetectCode: Zero-Shot Detection of AI-Generated Code using Levenshtein Distance
.png){kind=icon}
PRE
AI
DOI：10.1142/S0218194025500524.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
AI生成的代码正在迅速传播，使得追踪代码的真实来源变得更加困难。基于文本的工具（如DetectGPT）在文本上表现良好，但在代码上遇到困难。我们提出了一种新方法：在掩码重构下，由LLMs生成的代码在Levenshtein距离上表现出比人工编写的代码更广泛的分布。我们的关键创新是将此Levenshtein距离离散度视为标记概率差异的指标，从而促使我们开发了LevDetectCode。我们的零样本检测器仅依赖字符串级别的Levenshtein距离，既不需要GPU，也不需要访问模型内部信息。在MBPP-train和HumanEval的Python代码片段以及CodeContest_Java_test的Java数据上的实验，使用GPT-3.5、GPT-4和Deepseek-V3进行测试，结果表明相比其他零样本基线，AUROC提升了5-10个百分点，并且针对C++数据集的案例研究也显示出强大的有效性。此外，该方法的运行速度几乎快3000倍，显著降低了内存使用量。这些结果表明，Levenshtein距离可以超越依赖模型计算的零样本方法，为检测AI生成的代码提供了一种实用且可移植的解决方案。
Keyword:
Large language models
zero-shot
AI-generated code
Levenshtein distance
GPT-4
Deepseek-V3
期刊
I
IF:
0.6
论文数:
107
被引数:
543
机构
暂无机构信息
引用论文
.png){kind=icon}
Coding with AI: How Are Tools Like ChatGPT Being Used by Students in Foundational Programming CoursesAI编程：学生如何在基础编程课程中使用像ChatGPT这样的工具
PREAI
分享收藏 没有更多内容
没有更多内容