ℓ1-regularization learning based on Huber regression

Xiao Zhang

doi:10.1080/02331888.2025.2597296

2025-12-01

PRE

Xiao Zhang

许鸿飞 (Hongfei Xu)

ShouYou HUANG *

DOI：10.1080/02331888.2025.2597296

原文链接

原文求助

摘要

En 中文

构建在离群值和重尾噪声下保持稳定的稳健模型是高维数据分析中的核心挑战。为解决此问题，本文提出了一种基于核的 $ \ell _1 $ & ell;1-正则化Huber回归框架，以增强对非高斯扰动的稳健性。该方法整合了Huber损失函数对离群值的固有抵抗性与 $ \ell _1 $ & ell;1-正则化，从而提升泛化能力和稳定性。理论上，在再生核希尔伯特空间（RKHS）中，我们推导出近似误差、样本误差和超差误差的显式上界，以及保证收敛性和稳健性的学习率。所提出的方法在模拟数据集和真实数据集上进行了实证评估。与OLS、Ridge和Lasso方法相比，该方法在噪声水平变化时表现出更优的稳健性。在五个Kaggle数据集的实验中，它始终实现最低的RMSE。总体而言，所提出的方法展现出强大的理论保证和实证稳健性，为高维和噪声环境下的学习提供了一种可靠的框架。

Keyword:

Coefficient regularization

Huber loss

learning rate

error decomposition