.png){kind=icon}
返回
prunAdag: an adaptive pruning-aware gradient method
.png){kind=icon}
OA
AI
DOI：10.1007/s10589-025-00723-7.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
提出了一种考虑剪枝的自适应梯度方法，该方法在更新变量之前将其分为两类，并采用不同的策略进行处理。该技术扩展了Ding等人（Adv Neural Inf Process Syst 32, 2019）和Zimmer等人（Mathematical optimization for machine learning: proceedings of the MATH+ thematic Einstein semester 2023, 2025）的相关/无关方法，并允许对模型参数拟合问题的解进行事后稀疏化。该方法被证明是收敛的，其平均梯度范数的全局下降速率具有以下形式：\documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\mathcal{O}(\log (k)/\sqrt{k+1})$$\end{document}。在多个应用上的数值实验表明，该方法可与现有的考虑剪枝的Frank-Wolfe算法相媲美，例如Zimmer等人（Mathematical optimization for machine learning: proceedings of the MATH+ thematic Einstein semester 2023, 2025）。
Keyword:
Model pruning
Adaptive first-order methods
Objective-function-free optimisation (OFFO)
Global convergence rate
期刊
C
IF:
2
论文数:
68
被引数:
3.5K
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏分享收藏A FAST ALGORITHM FOR SPARSE RECONSTRUCTION BASED ON SHRINKAGE, SUBSPACE OPTIMIZATION, AND CONTINUATION基于收缩，子空间优化和连续的稀疏重建快速算法
PREAI
分享收藏
查看更多内容