arrow
返回

On hyperparameter tuning through Lipschitz global optimization

delete2026-02-18
delete0
PRE
AI
K
Konstantin Barkalov *
D
Denis Karchkov
E
Evgeny Kozinov
I
Ilya Lebedev
L
Lubov Yamschikova
N
Nikolay O. Nikitin
M
Marina Usova
DOI:10.1007/s00500-025-10749-ydelete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
机器学习方法的性能在很大程度上受到其超参数的影响,而质量标准的评估是一个耗时操作。因此,开发能够通过少量搜索试验选择最优超参数值的智能方法具有重要意义。本文提出了一种基于Lipschitz全局优化思想的超参数调优新方法。在该方法框架下,多参数问题的求解可简化为求解等价的一维问题。这种简化基于空间填充曲线(Peano曲线)的应用。这些方法已实现在开源智能优化方法框架iOpt中。为展示iOpt的优势,本文将其与Optuna和HyperOpt等知名框架进行比较,比较内容涉及在代表性数据集上对各类机器学习方法进行超参数调优。结果表明,与已知超参数调优算法相比,Lipschitz全局优化方法能在显著缩短的时间内提供质量相当的结果。
Keyword:
Lipschitz optimization
Global optimization
Multiextremal functions
Hyperparameter tuning

期刊

Soft Computing 封面图
Soft Computing
IF:
2.5
论文数:
1.0W
被引数:
2.1W

机构

L
lobachevsky university
学者数:
35
论文数: 10
被引数: 0
I
itmo university
学者数:
836
论文数: 291
被引数: 0
引用论文

引用论文

Globally-biased BIRECT algorithm with local accelerators for expensive global optimization
err2020-04-01
err42
PREAI
errPaulavicius, Remigijus; Sergeyev, Yaroslav D.; Kvasov, Dmitri E.; Zilinskas, Julius
err分享
err收藏
Support Vector Machines for classification and regression
errANALYST
IF3.3
err2010-01-01
err841
PREAI
errBrereton, Richard G.; Lloyd, Gavin R.
err分享
err收藏
Optimization of support vector machine through the use of metaheuristic algorithms in forecasting TBM advance rate
err2021-01-01
err0
PREAI
errJian Zhou; Yingui Qiu; Shuangli Zhu; Danial Jahed Armaghani; Chuanqi Li; Hoang Nguyen; Saffet Yagiz
err分享
err收藏
Mixed-integer nonlinear optimization
err2013-04-02
err508
PREAI
errBelotti, Pietro; Kirches, Christian; Leyffer, Sven; Linderoth, Jeff; Luedtke, James; Mahajan, Ashutosh
err分享
err收藏
err分享
err收藏
err分享
err收藏
学者 查看更多内容