.png){kind=icon}
返回
A course-anchored capability audit of GitHub Copilot for introductory programming: Specification and code generation
.png){kind=icon}
OA
AI
DOI：10.1016/j.array.2026.101242.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
生成式AI编程助手在入门编程教学中日益受到关注，但评估生成的成果与评估对学生的影响存在差异。本研究采用课程锚定、成果层面的审计方法，使用来自两门大学入门课程中七个概念涵盖的14个C++任务，对GitHub Copilot进行了评估。评估分为两个阶段：(i) 评估生成的函数描述和前置/后置条件；(ii) 评估根据自然语言任务描述生成的完整代码。针对每个任务和提示，在三次重复运行中最多请求了十种替代方案。使用明确的评分标准（包括可用性、非重复性、基于参考的规范准确性、功能正确性、课程边界合规性、冗余性和修正工作量）将输出与教师编写的参考成果进行对比评估。描述通常可用且独特，而PRE/POST建议在不同任务间存在较大差异。在代码生成方面，368个非重复建议中有278个功能正确，262个既正确又在定义的课程边界内；45.38%的非重复代码建议存在冗余内容。每个任务在第一次运行时至少产生了一个正确实现，尽管性能因任务而异。这些发现描述了在记录的配置下Copilot的输出能力和失败模式；但并未确立学习收益、学生满意度、教学有效性或与其他助手的优越性。
Keyword:
Artificial Intelligence
Programming assistants
GitHub Copilot
capability audit
Specification generation
Code generation
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
4.5
论文数:
930
被引数:
1.2K
机构
引用论文
Why Do CS1 Students Become Repeaters?M.-J. Marco-Galindo, J. Minguillón, D. García-Solórzano, T. Sancho-Vinuesa, https://doi.org/10.1109/RITA.2022.3191288为什么cs1学生成为重修生？，IEEE Rev. Iberoam. Tecnol. Aprendiz. 17 (3) (2022) 245–253. doi:10.1109/RITA.2022.3191288. https://doi.org/10.1109/RITA.2022.3191288
PREAI
分享收藏“It’s Weird That it Knows What I Want”: Usability and Interactions with Copilot for Novice Programmers“它知道我想要什么很奇怪”: 新手程序员的可用性和与Copilot的交互
OAAI
OAAI分享收藏Studying the effect of AI Code Generators on Supporting Novice Learners in Introductory Programming研究AI代码生成器在入门编程中支持新手的效果OAAI
OAAI分享收藏The dark side of generative artificial intelligence: A critical analysis of controversies and risks of ChatGPT生成式人工智能的阴暗面: 对ChatGPT争议和风险的批判性分析OAAI
OAAI分享收藏Using GitHub Copilot for Test Generation in Python: An Empirical Study使用GitHub Copilot进行Python测试生成的实证研究.png)
Proceedings of the 5th ACM/IEEE International Conference on Automation of Software Test (AST 2024)OAAI
Proceedings of the 5th ACM/IEEE International Conference on Automation of Software Test (AST 2024)IF0
OAAI分享收藏
查看更多内容