A Novel Gradient-Based Method for Decision Trees Optimizing Arbitrary Differential Loss Functions

doi:10.3390/math14081379

2026-04-20

Andrei V. Konstantinov

Vladimir Muliukha

DOI：10.3390/math14081379

原文链接

原文求助

摘要

En 中文

存在多种训练决策树的方法。本研究介绍了一种新颖的基于梯度的方法，用于构建能够优化任意可微分损失函数的决策树，克服了启发式分裂规则的局限性。与依赖启发式分裂规则的传统方法不同，所提出的方法通过损失函数的一阶和二阶导数来优化预测，能够实现分类、回归和生存分析等复杂任务的优化。我们展示了该方法在分类、回归和生存分析任务（包括含删失数据的情况）中的应用。在真实和合成数据集上的数值实验将所提出的方法与传统决策树算法（如CART、极端随机树和SurvTree）进行了比较。该方法的实现是公开可用的，为研究者和实践者提供了一个实用工具。本研究推动了基于决策树建模领域的发展，为处理结构化数据和复杂任务提供了一种更灵活、更准确的方法。通过利用基于梯度的优化，所提出的方法弥合了传统决策树与现代机器学习技术之间的差距，为可解释性和高性能模型的进一步创新铺平了道路。

Keyword:

gradient-based optimization

decision trees

survival analysis

classification

regression