.png){kind=icon}
返回
Comprehensive gradient-free optimization plugin with kernel density estimation-based cyclical learning rate and dynamic bandwidth adaptation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2025.126519.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
传统梯度优化方法在复杂非凸任务、多模态数据和高维参数空间中常面临性能瓶颈，难以在多样化的应用场景下提供稳健的性能。为应对这些挑战，我们提出了一种基于核密度估计的循环学习率与动态带宽自适应的全面无梯度优化插件（CGFO-KCD），旨在提升传统优化器的性能。CGFO-KCD引入无梯度优化策略和启发式带宽调整机制，利用记忆空间中的梯度范数和参数方差来指导核密度估计（KDE）中的采样方向和幅度，从而实现参数空间的自适应采样，显著增强优化器的全局搜索能力。此外，该插件采用循环学习率（CLR）调度策略，在不同优化阶段自适应调整学习率，提高效率和稳定性。一系列严格的实验，包括三个典型应用场景的基准性能评估、工业应用场景的泛化验证、消融研究和参数敏感性分析，验证了CGFO-KCD的有效性。结果表明，CGFO-KCD显著提升了传统优化器在各种应用场景下的性能，为复杂优化挑战提供了强有力支持与创新解决方案，且无需过度依赖参数设置。
Keyword:
Gradient-free optimization
Kernel density estimation (KDE)
Cyclical learning rate (CLR)
Heuristic strategy
期刊
IF:
7.5
论文数:
3.0W
被引数:
10.2W
机构
暂无机构信息
引用论文
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning利用强化学习中的元启发式策略优化变分量子电路
PREAI
分享收藏Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用.png)
PROCEEDINGS OF THE IEEE
PROCEEDINGS OF THE IEEEIF25.9
PREAI
分享收藏
分享收藏
查看更多内容