Deep Learning Framework Testing via Model Mutation: How Far Are We?

Yanzhou Mu

doi:10.1109/TSE.2026.3651022

Deep Learning Framework Testing via Model Mutation: How Far Are We?

2026-01-05

0

PRE

AI

DOI：10.1109/TSE.2026.3651022

原文链接

原文求助

摘要

En 中文

深度学习（DL）框架是DL系统在开发、部署和执行过程中的基础组件，而DL框架中的缺陷可能导致严重后果。因此，确保DL框架的质量已成为一个紧迫的挑战。在各种测试技术中，模型变异已作为一种广泛采用的方法出现。这类方法通过将变异算子应用于DL模型（例如结构变更或参数编辑）来生成变异体，然后分析不同框架或硬件之间的不一致性、崩溃或异常行为。尽管其有效性，现有方法存在以下局限性。首先，它们主要复用为模型测试设计的算子，这对其暴露框架级缺陷的能力提出了质疑。此外，它们未能充分考虑到变异约束，如变异类型、位置和顺序，这些因素直接影响生成变异体的缺陷检测能力。最后，它们依赖于有限的检测范围和狭窄的测试断言，侧重于模型推理的功能正确性，而忽略了开发者在其他阶段（如模型训练或部署）所关心的效率、资源使用等其他缺陷。这些局限性导致它们与开发者在实践中最为关注的严重缺陷之间存在较弱的关联。基于这些观察，本研究对现有基于变异的测试方法的有效性进行了全面调查。我们首先根据开发者的优先级标签收集并分类PyTorch和MindSpore的缺陷报告，构建了一个包含七个类别和十九个子类别的HP缺陷分类体系。然后，我们将五种最先进方法报告的缺陷映射到该分类体系中，以评估其检测能力。为解释这些局限性，我们进一步分析了三个关键因素——变异类型、变异位置和变异顺序——如何影响生成的变异体。基于实验结果，我们总结出十个发现，范围从揭示开发者修复框架缺陷的优先级、评估现有方法的缺陷检测能力，到变异因素如何影响生成的变异体。此外，我们揭示了现有方法的四个局限性及其根本原因，并提出了四项针对性的优化策略。我们进一步将这些策略应用于COMET，并成功发现了六个新缺陷，涵盖四种类型，其中包括两个此前未报告的类别。总体而言，本研究识别了38个独特的框架缺陷，其中30个得到开发者确认，12个已被修复，证明了我们研究成果的实践价值。

Keyword:

Software testing

deep learning framework testing

defect detection

model mutation

Empirical study

Deep Learning Framework Testing via Model Mutation: How Far Are We?

摘要

期刊

机构

引用论文