arrow
返回

Power-controlled reliability tests for assessing probabilistic classifier calibration

delete2025-10-01
delete0
PRE
AI
S
Sim, Hongjun
H
Hyukjun Gweon *
郝宇 封面图
郝宇 (Yu Hao)
R
Reg Kulperger
DOI:10.1080/03610918.2025.2574482delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
在监督分类中,可靠性图可用于评估类别概率估计的质量。基于数据分箱,可靠性图可视化了概率结果的校准水平。然而,尽管其具有视觉吸引力,但缺乏统计严谨性。为可靠性图添加统计推断的努力常遇到样本量依赖性问题,如同其他统计检验一样,统计功效随样本量增加而提高。在本文中,我们提出了基于功效控制的可靠性检验,用于评估二元概率分类器。我们的方法在不同概率估计范围内提供了一致的统计功效。对于每个分箱,所提出的方法使用局部备择假设检验可靠性。我们通过允许分箱具有不同大小,获得了单个检验的统一功效。我们的迭代算法有效确定了适当的分箱大小以及总分箱数量。进行了一项模拟研究,以探究所提方法在不同模型上的性能。我们还利用两个真实数据集展示了所提方法的应用。
Keyword:
Calibration assessment
Probabilistic classifier
Reliability diagram

期刊

C
Communications in Statistics-Simulation and Computation
IF:
0.8
论文数:
213
被引数:
4.7K

机构

W
western university (university of western ontario)
学者数:
2.9W
论文数: 2.7W
被引数: 33
引用论文

引用论文

Three Methods for Occupation Coding Based on Statistical Learning
err2017-02-21
err0
errOAAI
errHyukjun Gweon; Matthias Schonlau; Lars Kaczmirek; Michael Blohm; Stefan Steiner
err分享
err收藏
err
IF0
err
err0
PREAI
err
err分享
err收藏
err分享
err收藏
学者 查看更多内容