An Efficient Algorithm for Nonlinear Regression Problems With Huber Loss

Guangyong Chen

doi:10.1109/tac.2026.3683294

An Efficient Algorithm for Nonlinear Regression Problems With Huber Loss

2026-04-13

0

PRE

AI

陈晨 (C. L. Philip Chen)

DOI：10.1109/tac.2026.3683294

原文链接

原文求助

摘要

En 中文

非线性回归模型在系统辨识、数据分析及信号处理等多个领域至关重要。尽管其重要性显著，但稳健参数估计的效率受到固有非线性和非光滑性的阻碍。本文提出了一种高效且稳健的参数估计算法，用于非线性回归问题，通过采用光滑的Huber损失替代$L_{1}$损失。首先，我们分析了Huber损失下非线性回归的结构特征，将参数划分为线性与非线性分量。随后建立了一个关于残差的关键定理，有助于处理优化过程中参数间的耦合关系。基于这些见解，我们引入了Huber变量投影（HuVP）算法，这是一种新型变量投影方法，能高效处理参数耦合并在低维空间优化。分析了HuVP的收敛性质，表明其继承了传统变量投影算法的优点。数值实验展示了HuVP在不同场景下的有效性与稳健性。

Keyword:

Nonlinear regression

robust parameter estimation

system identification

variable projection (VP) algorithm

An Efficient Algorithm for Nonlinear Regression Problems With Huber Loss

摘要

期刊

机构

引用论文