arrow
返回

When to Explore and When to Exploit: Adaptive Decisions in Bayesian Optimization

delete2026-08-05
delete0
delete
OA
AI
A
Antonio Candelieri
F
Francesco Archetti
I
Iman Seyedi *
DOI:10.3390/make8070193delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
基于高斯过程的贝叶斯优化(BO)是一种用于优化昂贵黑箱函数的样本高效序贯策略。高斯过程提供对未知函数的概率近似,而采集函数通过平衡探索与开发来选择下一个评估点。尽管已有大量研究投入,但尚未识别出最优的采集函数。本文提出了一种新颖的自适应采集函数,该函数基于优化过程的演变动态调整探索—开发权衡,而非采用固定或随机调度。尽管此处是在基于GP的BO框架中实现,但核心切换机制与代理模型无关:开发性组件仅需代理点的预测,而探索性组件完全无需模型。与传统方法不同,后者中UCB/LCB机制倾向于随迭代增加探索,或固定策略在预定点从探索性(EI)切换到开发性(PI)行为,所提方法仅利用GP的预测进行纯开发性决策。然而,当这些决策的显著改进潜力较低时,该方法会舍弃它们,转而关注不确定性降低。值得注意的是,该方法采用反距离加权进行不确定性量化,而非使用GP的预测不确定性,从而避免来自GP预测的偏差。在基准函数上的测试表明,所提采集函数几乎总是帕累托最优,相比现有最佳替代方案,在收敛到全局最优与探索能力之间提供了最平衡的权衡。
Keyword:
Bayesian optimization
Gaussian process
acquisition function
confidence bound

期刊

M
Machine Learning and Knowledge Extraction
IF:
6
论文数:
863
被引数:
1.8K

机构

U
university of milano-bicocca
学者数:
2.0W
论文数: 1.5W
被引数: 22
引用论文

引用论文

err分享
err收藏
err
IF0
err
err0
PREAI
err
err分享
err收藏
err1998-01-01
err0
PREAI
errDonald R. Jones; Matthias Schonlau; William J. Welch
err分享
err收藏
Taking the Human Out of the Loop: A Review of Bayesian Optimization将人类带出循环: 贝叶斯优化的回顾
err2016-01-01
err3.5K
PREAI
errShahriari, Bobak; Swersky, Kevin; Wang, Ziyu; Adams, Ryan P.; de Freitas, Nando
err分享
err收藏
学者 查看更多内容