.png){kind=icon}
返回
Measuring Training Variability From Stochastic Optimization Using Robust Nonparametric Testing
.png){kind=icon}
PRE
AI
DOI：10.1109/JSTSP.2025.3583140.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
深度神经网络训练通常涉及随机优化，这意味着每次运行都会产生不同的模型。这表明训练过程中的超参数（例如随机种子本身）可能对训练出的模型变异性产生显著影响。通过总结统计量（如测试准确率）来衡量模型质量可能会掩盖这种依赖关系。我们提出了一种稳健的假设检验框架和一个新的总结统计量，即α修剪水平，用于测量模型相似性。直接使用α修剪水平进行假设检验具有挑战性，因为我们无法准确描述零假设下的分布。我们的框架通过确定近似分布与独立训练的模型组的预期分布的接近程度，并将此近似作为参考来解决这个问题。然后，我们使用α修剪水平来建议需要采样多少次训练运行，以确保集成是真实模型性能的可靠代表。我们还展示了如何使用α修剪水平来测量模型变异性，并通过实验证明，与单独考虑的验证准确率、迭代轮次或期望校准误差等性能指标相比，它更具表现力。在迁移学习中通过调整随机种子进行微调的应用，说明了我们新指标的优势。
Keyword:
DNN variability
non-parametric testing
Kolmogorov-Smirnov test
robust statistics
ensembling
期刊
IF:
13.7
论文数:
1.9K
被引数:
1.1W
查看更多机构
.png){kind=icon}
