Testing convolutional neural network based deep learning systems: a statistical metamorphic approach

doi:10.7717/peerj-cs.2658

2025-01-30

Faqeer Ur Rehman *

Clemente Izurieta

DOI：10.7717/peerj-cs.2658

原文链接

原文求助

摘要

En 中文

机器学习技术涵盖众多领域，并在解决关键领域（如医疗保健、自动驾驶、金融、制造业、网络安全等）的广泛问题上发挥着重要作用。变形测试（MT）被认为是测试此类计算复杂系统的一种简单但非常强大的方法，这些系统要么没有可用的真值标准（oracle），要么虽有但难以应用。传统的变形测试技术在验证基于深度学习的模型（如卷积神经网络（CNNs））时存在局限性，这些模型在训练过程中具有随机性（因为网络权重是随机初始化的）。在本文中，我们尝试通过使用一种统计变形测试（SMT）技术来解决这个问题，该技术无需软件测试人员担心固定随机种子（以获得确定性结果）来验证变形关系（MRs）。我们提出了七种MRs，并结合不同的统计方法，以统计方式验证被测程序是否遵循MRs中指定的关系。我们进一步使用变异测试技术来展示所提出方法在医疗保健领域的实用性，并测试了两个基于CNN的深度学习模型（用于患者肺炎检测）。实证结果表明，我们提出的方法发现了被测分类器（CUT）中85.71%的实现缺陷。此外，我们还为CUT提出了一个MRs最小化算法，从而节省计算成本和组织测试资源。

Keyword:

Metamorphic relations

Metamorphic testing

Testing convolutional neural networks (CNNs)

Testing deep learning systems

Testing pneumonia detection models

Metamorphic relations prioritization

Statistical metamorphic testing