Double momentum projected gradient method for large-scale machine learning and signal processing

doi:10.1007/s12190-026-02803-1

Double momentum projected gradient method for large-scale machine learning and signal processing

2026-04-01

0

PRE

AI

DOI：10.1007/s12190-026-02803-1

原文链接

原文求助

摘要

En 中文

本文介绍了一种新颖的双动量投影梯度方法，用于求解实希尔伯特空间中的单调变分不等式。所提出的算法计算效率高，每次迭代仅需一次可行集投影和一次李普希茨连续算子的评估。该方法结合了基于过去迭代中速度和加速度的两项惯性外推步骤，以加速收敛。相较于现有方法，其关键优势在于采用了一种简单、自适的步长规则，避免了计算多个范数的计算开销。我们在标准假设下证明了生成序列的弱收敛性，并建立了遍历序列的非渐近收敛速度为O(1/j)。在大型机器学习问题上的广泛数值实验，包括标准基准如MNIST（6万样本）和CIFAR-10（5万样本），以及信号处理任务（非负压缩感知），均表明该方法在迭代次数和CPU时间两方面均持续优于当前最优算法。

Keyword:

Monotone variational inequalities

Two-term inertial

Machine learning

Signal processing

Double momentum projected gradient method for large-scale machine learning and signal processing

摘要

期刊

机构

引用论文