.png){kind=icon}
返回
A MCDM-Based Framework for Quantifying Reproducibility Readiness in Machine Learning Research
.png){kind=icon}
OA
AI
DOI：10.3390/math14091536.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
机器学习（ML）在科学领域的应用日益广泛，引发了关于发表结果可重复性的担忧。可重复性是科学研究的基本原则，但由于缺失工件和报告不足，许多机器学习研究工作仍难以重复。本研究针对机器学习研究中缺乏实用的定量评估可重复性的方法，提出了一种基于多准则决策制定（MCDM）的论文级评估框架。通过理论分析和数据驱动分析的综合，我们确定了七个关键可重复性准则：数据和代码可用性、包含README和训练模型、超参数和训练描述以及论文可读性。这些准则随后通过加权求和模型（WSM）和理想解相似性排序技术（TOPSIS）聚合为统一的定量评分，用于评估“R1”级别的可重复性准备度。在基线评估中采用了相等的准则权重，而层次分析法（AHP）被证明是一种适用于根据不同利益相关者优先级推导情境依赖权重的实用方法。该框架应用于一组139篇随机采样的机器学习研究论文，并与现有的可重复性标签进行基准测试，准确率为0.64，精确率为0.40，召回率为0.70。结果表明，MCDM为量化可重复性准备度提供了一个可行、可解释且灵活的基础，允许通过定制准则权重将评估适应于不同的决策制定情境。
Keyword:
machine learning
computational reproducibility
quantitative assessment
reproducibility readiness
AHP
MCDM
TOPSIS
WSM
期刊
IF:
2.2
论文数:
3.1K
被引数:
3.6W
机构
引用论文
Application of Simple Average Weighting Optimization Method in the Selection of Best Desktop Computer Model简单平均加权优化方法在最佳台式电脑型号选择中的应用
PREAI
分享收藏An analytic research and review of the literature on practice of artificial intelligence in healthcare人工智能在医疗保健实践中应用的文献分析研究与综述OAAI
OAAI分享收藏Advancing Research Reproducibility in Machine Learning through Blockchain Technology.png)
InformaticaOAAI
InformaticaIF2.8
OAAI分享收藏Deep learning-based object recognition in multispectral satellite imagery for real-time applications
OAAI
OAAI分享收藏
查看更多内容