Adaptive Random Testing of Deep Learning Systems Using Image Hashing

doi:10.1109/TR.2025.3607784

2025-09-19

PRE

DOI：10.1109/TR.2025.3607784

原文链接

原文求助

摘要

En 中文

近年来，深度学习（DL）系统已被应用于许多领域，包括图像处理和自动驾驶。软件测试是确保软件质量的重要方式。在各种测试方法中，随机测试（RT）因其简单性和高效性而被广泛用于DL系统，但因其故障检测效果不佳而受到批评。作为RT的增强方法，自适应随机测试（ART）试图在输入域上均匀分布测试用例，旨在提高分布多样性。然而，当前针对DL系统的ART方法测试效率较低，尤其是对于基于图像的DL系统。这是因为当前依赖于视觉几何组网络-16（VGGNet-16）来提取图像特征以表示图像输入—VGGNet-16是一个16层、深度卷积神经网络，已被广泛用于图像分类和特征提取。使用VGGNet-16进行特征提取非常耗时，每个图像被提取为高维向量。对于此类高维向量的图像（不）相似度计算会产生沉重的计算开销。为克服这些挑战，我们提出了一种新的ART方法：基于图像哈希的ART（IHART）。IHART使用图像哈希快速提取每幅图像的特征，并将其存储为低维二进制向量。这可以显著降低测试用例生成过程中（不）相似度计算的计算成本。我们进行了一系列实验，使用多个知名数据集和DL系统来评估IHART的性能。结果表明，在所研究的三种主流图像哈希策略中，感知哈希提供了最佳的ART测试用例生成性能—感知哈希用于图像去重和内容搜索，其在哈希过程中使用内容特征。与当前方法相比，IHART在大多数数据集和模型上的故障检测效果表现优异，且在故障检测效率方面显著更优。

Keyword:

Adaptive random testing (ART)

deep learning (DL) systems

image hashing

random testing (RT)

testing efficiency