.png){kind=icon}
返回
Smoothing the Edges: Smooth Optimization for Sparse Regularization Using Hadamard Overparametrization
.png){kind=icon}
OA
AI
DOI：10.1007/s10994-026-06997-0.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近年来，过参数化在各种领域受到了广泛关注，显示出加速训练和促进简化的效果。然而，很少有研究探讨由过参数化与显式平滑正则化结合所引起的原始参数的稀疏正则化。这里，我们提出了一种用于（结构化）稀疏性的平滑优化框架，适用于显式正则化的目标函数。这些非平滑且可能非凸的问题通常依赖于针对特定模型或正则化器的求解器，并且尚未在深度学习中得到广泛应用。相比之下，我们的方法承诺对稀疏正则化器进行完全可微分且无需近似的优化，因此与无处不在的梯度下降范式兼容。所提出的优化转移包括对选定参数的过参数化以及惩罚项的调整。我们证明了代理目标函数在全局和局部极小值相同的意义上是等价的，从而避免了引入虚假解。我们全面回顾了不同领域中诱导稀疏性的参数化方法，并将它们整合到我们的显式代理正则化框架中。我们进一步扩展了其适用范围，指出了改进之处，并提出了新的参数化方法。数值实验进一步证明了我们的方法在从高维回归到稀疏神经网络训练的多个稀疏学习问题上的正确性和有效性。
Keyword:
Overparametrization
Sparse regularization
Smooth optimization
Hadamard product parametrization
Gradient descent
Neural networks
Machine Learning
Control
Robotics
Mechatronics
Artificial Intelligence
Simulation and Modeling
Natural Language Processing (NLP)
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
.png){kind=icon}
分享收藏A Unified Algorithm for the Non-Convex Penalized Estimation: The ncpen Package一种非凸惩罚估计的统一算法：NCPEN 包
PREAI
分享收藏
查看更多内容