.png){kind=icon}
返回
Performance Estimation in Binary Classification Using Calibrated Confidence
.png){kind=icon}
OA
AI
DOI：10.1007/s10994-025-06970-3.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
模型监控是机器学习生命周期中的一个关键组成部分，旨在防止部署后模型性能出现未检测到的下降。传统上，性能监控需要访问真实标签，而这些标签并不总是容易获取。这可能导致无法接受的延迟，甚至使性能监控完全不可能实现。近年来，一些旨在在不访问标签的情况下估计分类器模型准确性的方法已显示出有前景的结果。然而，在其他许多情况下，可能有其他各种指标更适合评估模型性能。迄今为止，科学界对这些重要指标中的任何一个都尚未给予类似的关注。在本项工作中，我们通过提出基于置信度的性能估计（CBPE）方法来填补这一空白，这是一种新型方法，能够估计任何基于混淆矩阵定义的二分类指标。具体而言，我们从这个庞大的指标家族中选择四个指标：accuracy、precision、recall和$$\hbox {F}_1$$，以展示我们的方法。CBPE将混淆矩阵的元素视为随机变量，并利用模型的校准置信度分数来估计它们的分布。随后，所需指标也被视为随机变量，其完整的概率分布可以从估计的混淆矩阵中推导出来。研究表明，CBPE产生的估计值具有强大的理论保证和有效的置信区间。
Keyword:
Artificial intelligence
Machine learning
Model monitoring
Performance estimation
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
.png){kind=icon}
