ProBoost: Reducing Uncertainty Using a Boosting Method for Probabilistic Models

Fábio Mendonça

doi:10.1109/ACCESS.2025.3592797

2025-01-01

Fábio Mendonça

Sheikh Shanawaz Mostafa

Fernando Morgado‐Dias

Antonio G. Ravelo‐García

Mário A. T. Figueiredo

DOI：10.1109/ACCESS.2025.3592797

原文链接

原文求助

摘要

En 中文

分类或回归模型的不确定性分析是监督学习中概率方法的一个关键特征，它允许评估预测的可信度。正如提升算法旨在通过依据每个简单分类器准确率的过程来获得精确的分类器集成一样，本文提出的方法通过依据每个独立模型的不确定性来构建集成。该方法命名为ProBoost（概率提升），利用每个训练样本的先验不确定性来确定各模型最不确定的那些样本；然后增加这些样本对下一个学习器的重要性，生成一个逐步聚焦于被认定为最高不确定性样本的序列。最终，学习到的模型被组合成一个集成。因此，该方法通过量化预测不确定性来引导通过数据集操纵进行的顺序训练，超越了通常关注确定性误差修正的标准提升方法。根据每个阶段的不确定性估计，提出了三种更新样本重要性的方法：欠采样、过采样和加权。此外，研究了两种关于最终集成组合的方法。本文考虑的学习器是标准的卷积神经网络，而进行不确定性估计的底层概率模型使用变分推断或蒙特卡洛dropout。在MNIST和CIFAR 10基准数据集上进行的实验评估表明，与未使用ProBoost相比，ProBoost能带来显著性能提升，并且优于具有相似参数数量的更广泛单模型。

Keyword:

Machine learning

boosting

Monte Carlo

convolutional neural networks

probabilistic algorithms