返回
Differential testing for machine learning: an analysis for classification algorithms beyond deep learning
DOI:10.1007/s10664-022-10273-9.png)
摘要
En 中文
差异测试是一种有用的方法,它使用相同算法的不同实现并比较结果以进行软件测试。近年来,这种方法被成功地用于深度学习框架的测试活动。除了深度学习之外,关于差异测试的应用知之甚少。在本文中,我们希望缩小分类算法的差距。我们使用scikit-learn,Weka,Spark MLlib和Caret进行了案例研究,其中我们通过考虑哪些算法在多个框架中可用来确定差异测试的潜力,通过识别应该表现出相同行为的算法对的可行性,以及通过对识别的对执行测试并分析偏差来验证有效性。虽然我们发现流行算法的潜力很大,但可行性似乎有限,因为通常不可能确定其他框架中相同的配置。可行测试的执行表明,分数和课程存在大量偏差。只有基于课程统计意义的宽松方法才不会导致大量的测试失败。对于机器学习库的质量研究,深度学习之外的差异测试的潜力似乎有限。如果从业者对实现有深入的了解,他们仍然可以使用这种方法,特别是如果只考虑课程的重大差异的粗略预言就足够了。
Keyword:
Machine learning
Software testing
Differential testing
期刊
IF:
3.6
论文数:
2.0K
被引数:
5.3K
机构
引用论文
The Effect of Electron Irradiation on the Structure of Sodium Aluminum-Iron Phosphate Glasses电子辐照对磷酸铝铁钠玻璃结构的影响
MRS Advances
IF0
Electricity market prices for day-ahead ancillary services and energy: Texas前一天辅助服务和能源的电力市场价格: 德克萨斯州

