.png){kind=icon}
返回
A Mini-Batch Algorithm with Adaptive Learning Rate Strategy
.png){kind=icon}
PRE
AI
DOI：10.17576/jsm-2026-5503-11.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
为解决手动选择步长或使用衰减步长序列在 mini-batch 算法中可能减慢收敛速度的问题，我们提出了一种利用正定稳定 Barzilai-Borwein (PDSBB) 方法自动计算步长的策略。PDSBB 步长被整合到 mini-batch 半随机梯度下降 (mS2GD) 算法中，形成一种新型算法 mS2GD-PDSBB。基于线性收敛结果，计算复杂度以实现预定精度水平所需的随机梯度评估次数的期望值来表征。在基准实例上进行了计算实验以评估所提出算法的收敛行为。合适的 mini-batch 大小使得 mS2GD-PDSBB 算法能够成功达到与基础算法一致的性能。数值实验表明，所提出的 mS2GD-PDSBB 算法通过自适应步长策略实现了稳定且快速的收敛。特别是，该算法对初始步长的选择具有较低的敏感性，并在不同数据集上在目标次最优性和测试误差方面始终优于或达到 mS2GD 和 mS2GD-BB 的水平。
Keyword:
Adaptive step size
convergence rate
mS2GD algorithm
PDSBB method
期刊
IF:
0.8
论文数:
128
被引数:
2.9K
机构
引用论文
暂无论文信息