返回
On hyperparameter tuning through Lipschitz global optimization
DOI:10.1007/s00500-025-10749-y.png)
摘要
En 中文
机器学习方法的性能在很大程度上受到其超参数的影响,而质量标准的评估是一个耗时操作。因此,开发能够通过少量搜索试验选择最优超参数值的智能方法具有重要意义。本文提出了一种基于Lipschitz全局优化思想的超参数调优新方法。在该方法框架下,多参数问题的求解可简化为求解等价的一维问题。这种简化基于空间填充曲线(Peano曲线)的应用。这些方法已实现在开源智能优化方法框架iOpt中。为展示iOpt的优势,本文将其与Optuna和HyperOpt等知名框架进行比较,比较内容涉及在代表性数据集上对各类机器学习方法进行超参数调优。结果表明,与已知超参数调优算法相比,Lipschitz全局优化方法能在显著缩短的时间内提供质量相当的结果。
Keyword:
Lipschitz optimization
Global optimization
Multiextremal functions
Hyperparameter tuning
期刊
IF:
2.5
论文数:
1.0W
被引数:
2.1W
机构
引用论文
Numerical methods using two different approximations of space-filling curves for black-box global optimization基于两种不同空间填充曲线近似方法的黑箱全局优化数值算法
On the efficiency of nature-inspired metaheuristics in expensive global optimization with limited budget
SCIENTIFIC REPORTS
IF3.9
Determining solution set of nonlinear inequalities using space-filling curves for finding working spaces of planar robots利用填充空间曲线确定非线性不等式解集,以寻找平面机器人的工作空间

