How students use generative AI for software testing: An observational study

Barış Ardıç

doi:10.1007/s10664-026-10898-0

2026-06-20

Barış Ardıç *

Quentin Le Dilavrec

Andy Zaidman

DOI：10.1007/s10664-026-10898-0

原文链接

查看原文

摘要

En 中文

将ChatGPT等生成式AI工具整合到软件工程工作流程中，为提升单元测试工程等任务的生产力带来了新的机遇。然而，这些AI辅助工作流程也可能显著改变开发者的角色，引发对控制、输出质量和学习方面的担忧，尤其是对新手开发者而言。本研究探讨了具备软件测试基础知识的新手软件开发者如何与生成式AI交互以进行单元测试工程。我们的目标是考察他们使用的策略、对生成式AI的依赖程度，以及在使用生成式AI辅助方法进行测试工程时感知到的益处和挑战。我们进行了一项观察研究，涉及12名使用生成式AI完成单元测试任务的大学生，采用运行GPT-3.5模型的ChatGPT。我们识别出四种交互策略，由测试想法或测试实现是否源自生成式AI或参与者来定义。此外，我们还确定了侧重于单次或迭代式测试生成的提示风格，这些风格通常与更广泛的交互策略一致。学生报告的益处包括节省时间、降低认知负荷和支持测试构思，但也指出了缺点，如信任度降低、测试质量担忧和缺乏归属感。尽管策略和提示风格影响了工作流程动态，但它们并未显著影响测试有效性或测试代码质量（以变异分数或测试异味衡量）。

Keyword:

Software testing

Generative AI

Human-AI interaction

AI4SE

AI总结

对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

Empirical Software Engineering

IF:

3.6

论文数:

2.0K

被引数:

5.3K

机构

delft university of technology

学者数:

3.1K

论文数: 1.4K

被引数: 0

引用论文

Nazi, Z.A.; Hossain, M.R.; Mamun, F.A. Evaluation of open and closed-source LLMs for low-resource language with zero-shot, few-shot, and chain-of-thought prompting. Nat. Lang. Process. J. 2025, 10, 100124. [Google Scholar] [CrossRef]Nazi, Z.A.; Hossain, M.R.; Mamun, F.A. 对低资源语言中开源和闭源LLMs的评估，采用零样本、少样本和思维链提示方法。Nat. Lang. Process. J. 2025, 10, 100124. [Google Scholar] [CrossRef]

IF0

2025-03-01

PREAI

Zabir Al Nazi; Md. Rajib Hossain; Faisal Al Mamun

Software Testing With Large Language Models: Survey, Landscape, and Vision 使用大型语言模型进行软件测试: 调查，景观和视觉

IEEE TRANSACTIONS ON SOFTWARE ENGINEERING

IF5.6

2024-04-01

OAAI

Wang, Junjie; Huang, Yuchao; Chen, Chunyang; Liu, Zhe; Wang, Song; Wang, Qing

Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance 谨防元认知懒惰: 生成式人工智能对学习动机、过程和表现的影响

BRITISH JOURNAL OF EDUCATIONAL TECHNOLOGY

IF8.1

2024-12-10

PREAI

Fan, Yizhou; Tang, Luzhen; Le, Huixiao; Shen, Kejie; Tan, Shufang; Zhao, Yueying; Shen, Yuan; Li, Xinyu; Gasevic, Dragan

Exploring the Integration of Generative AI Tools in Software Testing Education: A Case Study on ChatGPT and Copilot for Preparatory Testing Artifacts in Postgraduate Learning 软件测试教育中生成式AI工具的集成探索 -- 以研究生预备测试构件的ChatGPT和Copilot为例

IEEE ACCESS

IF3.6

2025-01-01

OAAI

Haldar, Susmita; Pierce, Mary; Capretz, Luiz Fernando

Generative AI in Software Engineering Must Be Human-Centered: The Copenhagen Manifesto 软件工程中的生成AI必须以人为中心: 哥本哈根宣言

JOURNAL OF SYSTEMS AND SOFTWARE

IF4.1

2024-10-01

PREAI

Russo, Daniel; Baltes, Sebastian; van Berkel, Niels; Avgeriou, Paris; Calefato, Fabio; Cabrero-Daniel, Beatriz; Catolino, Gemma; Cito, Juergen; Ernst, Neil; Fritz, Thomas; Hata, Hideaki; Holmes, Reid; Izadi, Maliheh; Khomh, Foutse; Kjaergaard, Mikkel Baun; Liebel, Grischa; Lafuente, Alberto Lluch; Lambiase, Stefano; Maalej, Walid; Murphy, Gail; Moe, Nils Brede; O'Brien, Gabrielle; Paja, Elda; Pezze, Mauro; Persson, John Stouby; Prikladnicki, Rafael; Ralph, Paul; Robillard, Martin; Silva, Thiago Rocha; Stol, Klaas-Jan; Storey, Margaret-Anne; Stray, Viktoria; Tell, Paolo; Treude, Christoph; Vasilescu, Bogdan

Software unit test coverage and adequacy 软件单元测试覆盖率和充分性

ACM COMPUTING SURVEYS

IF28

1997-12-01

689

PREAI

Zhu, H; Hall, PAV; May, JHR

Interrater agreement and interrater reliability: Key concepts, approaches, and applications 评分者间协议和评分者间可靠性: 关键概念、方法和应用

RESEARCH IN SOCIAL & ADMINISTRATIVE PHARMACY

IF2.8

2013-05-01

625