Bayesian Optimization for Branching and Nested Hyperparameters in Deep Learning

Jiazhao Zhang

doi:10.1080/01621459.2026.2625450

2026-04-22

PRE

Jiazhao Zhang

Chung-Ching Lin *

Ying Hung *

DOI：10.1080/01621459.2026.2625450

原文链接

原文求助

摘要

En 中文

超参数优化在神经网络的成功中扮演着关键角色，因为超参数直接控制训练算法的行为和性能。为获得高效的调优，基于高斯过程的贝叶斯优化被广泛使用。尽管在深度学习中已有众多应用，现有方法依赖于一个方便但限制性的假设，即调优参数彼此独立。然而，在实践中，条件依赖的调优参数很常见。本文聚焦于其中两种类型：分支参数和嵌套参数。嵌套参数是指那些仅在另一个调优参数的特定设置下存在的调优参数，而包含其他嵌套参数的参数被称为分支参数。为捕捉分支参数与嵌套参数之间的条件依赖关系，提出了一种统一的贝叶斯优化框架。严格推导了保证核函数有效性的充分条件，并在连续armed-bandit设置下证明了所提优化框架的渐近收敛性。该新模型通过新的核函数考虑了输入变量间的依赖结构，在神经网络模拟和真实数据应用中提供了更高的预测精度和更好的优化效率。本文的补充材料可在线获取，包括用于重现工作的标准化材料描述。

Keyword:

Bayesian optimization

Deep learning

Experimental design

Gaussian process