arrow
返回

Differential testing for machine learning: an analysis for classification algorithms beyond deep learning

delete2023-01-24
delete0
delete
OA
AI
S
Steffen Herbold *
S
Steffen Tunkel
DOI:10.1007/s10664-022-10273-9delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
差异测试是一种有用的方法,它使用相同算法的不同实现并比较结果以进行软件测试。近年来,这种方法被成功地用于深度学习框架的测试活动。除了深度学习之外,关于差异测试的应用知之甚少。在本文中,我们希望缩小分类算法的差距。我们使用scikit-learn,Weka,Spark MLlib和Caret进行了案例研究,其中我们通过考虑哪些算法在多个框架中可用来确定差异测试的潜力,通过识别应该表现出相同行为的算法对的可行性,以及通过对识别的对执行测试并分析偏差来验证有效性。虽然我们发现流行算法的潜力很大,但可行性似乎有限,因为通常不可能确定其他框架中相同的配置。可行测试的执行表明,分数和课程存在大量偏差。只有基于课程统计意义的宽松方法才不会导致大量的测试失败。对于机器学习库的质量研究,深度学习之外的差异测试的潜力似乎有限。如果从业者对实现有深入的了解,他们仍然可以使用这种方法,特别是如果只考虑课程的重大差异的粗略预言就足够了。
Keyword:
Machine learning
Software testing
Differential testing

期刊

Empirical Software Engineering 封面图
Empirical Software Engineering
IF:
3.6
论文数:
2.0K
被引数:
5.3K

机构

U
University of Gottingen
学者数:
2.5W
论文数: 2.1W
被引数: 36
U
University of Passau
学者数:
692
论文数: 680
被引数: 515
引用论文

引用论文

Testing and validating machine learning classifiers by metamorphic testing通过变形测试测试和验证机器学习分类器
err2011-04-01
err251
errOAAI
errXie, Xiaoyuan; Ho, Joshua W. K.; Murphy, Christian; Kaiser, Gail; Xu, Baowen; Chen, Tsong Yueh
err分享
err收藏
err分享
err收藏
Bagging predictorsBagging预测器
err1996-08-01
err1.0W
PREAI
errBreiman, L
err分享
err收藏
学者 查看更多内容