Dynamic cost-sensitive random forest for imbalanced data

Mohammad-Awis Al-Lababede

doi:10.1007/s10586-026-06245-z

2026-07-13

PRE

Mohammad-Awis Al-Lababede *

Nailah Al-Madi

DOI：10.1007/s10586-026-06245-z

原文链接

原文求助

摘要

En 中文

随机森林（RF）在多个领域已展现出高效性和高精度，尤其是在处理不平衡数据时。处理不平衡数据的一种方法是代价敏感学习，该方法关注少数类并赋予其比多数类更高的代价。将代价敏感学习整合到随机森林中可以提升其对不平衡数据的性能。然而，确定合适的代价值仍是一个挑战性问题。本文通过使用动态代价解决了这一挑战。本文提出了一种新颖的代价敏感模型，称为动态代价敏感随机森林（DCRF），其基于将动态代价整合到RF模型中的思想。DCRF在同一集成中按不同比例结合了传统决策树和代价敏感决策树。例如，DCRF (0%)代表完全由传统决策树组成的模型，而DCRF (100%)代表完全由代价敏感决策树组成的模型。此外，为达到动态代价敏感性，DCRF生成N个代价矩阵，其中N代表决策树的数量；每个代价矩阵从不同代价角度强调数据。所提出的DCRF在三个不平衡数据集上使用不同的代价场景进行了评估。这些数据集包括：不平衡比约为9.62:1的心脏病健康指标数据集、不平衡比约为578.88:1的信用卡欺诈检测数据集，以及不平衡比约为2.77:1的IT客户流失数据集。基于包括召回率、精确率、F1分数、准确率和曲线下面积（AUC）在内的多个评估指标，将模型与传统RF、XGBoost、代价敏感决策树（CSDT）和代价敏感随机森林（CRF）进行了比较。结果表明，DCRF在F1分数方面取得了最佳性能，表明其相比RF、XGBoost、CSDT和CRF在精确率和召回率之间达到了更好的平衡。此外，DCRF在AUC方面表现强劲，超过了XGBoost、CSDT和许多版本的CRF的结果，同时实现了与RF相当的性能。

Keyword:

Cost-sensitive

Random forest

Imbalanced dataset

Machine learning