.png){kind=icon}
返回
Literate Programming With LLMs? — A Study on Rosetta Code and CodeNet
.png){kind=icon}
PRE
AI
DOI：10.1109/TSE.2025.3629828.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
文档式编程（Literate programming）是Knuth于1984年提出的一个概念，强调了结合人类可读文档与机器可读代码的重要性，因为编写文档式程序是软件质量的先决条件。本文的研究目标在于评估生成式AI模型（如GPT-4、LLaMA或Falcon等大型语言模型LLM）是否因其广泛应用于软件工程而具备文档式编程的能力。要真正实现文档式编程，LLM必须根据用户提示生成自然语言描述和语义对齐的对应代码。此外，其程序内部表示应允许我们识别编程语言及其描述。为评估其能力，我们使用了Rosetta Code和CodeNet数据集进行研究。我们通过Rosetta Code数据集进行了四项计算实验，涵盖926种编程语言下的1,228项任务，并在包含55项任务和52种语言的更大CodeNet数据集上验证了我们的发现。结果表明，万亿参数级别的LLM具备文档式编程能力，而百万和十亿参数级别的模型在识别编程语言方面优于任务识别。基于这些结果，我们得出结论：现代LLM在编码编程语言及其任务语义方面具有更深层的能力，使我们更接近实现文档式编程的完全潜力。
Keyword:
Large Language Model (LLM)
literate programming
computation experiment
code-related tasks
期刊
IF:
5.6
论文数:
2.9K
被引数:
1.1W
机构
引用论文
暂无论文信息