返回
Power-controlled reliability tests for assessing probabilistic classifier calibration
DOI:10.1080/03610918.2025.2574482.png)
摘要
En 中文
在监督分类中,可靠性图可用于评估类别概率估计的质量。基于数据分箱,可靠性图可视化了概率结果的校准水平。然而,尽管其具有视觉吸引力,但缺乏统计严谨性。为可靠性图添加统计推断的努力常遇到样本量依赖性问题,如同其他统计检验一样,统计功效随样本量增加而提高。在本文中,我们提出了基于功效控制的可靠性检验,用于评估二元概率分类器。我们的方法在不同概率估计范围内提供了一致的统计功效。对于每个分箱,所提出的方法使用局部备择假设检验可靠性。我们通过允许分箱具有不同大小,获得了单个检验的统一功效。我们的迭代算法有效确定了适当的分箱大小以及总分箱数量。进行了一项模拟研究,以探究所提方法在不同模型上的性能。我们还利用两个真实数据集展示了所提方法的应用。
Keyword:
Calibration assessment
Probabilistic classifier
Reliability diagram
期刊
C
IF:
0.8
论文数:
213
被引数:
4.7K
机构
引用论文
A power-controlled reliability assessment for multi-class probabilistic classifiers多类概率分类器的功率控制可靠性评估

