Bayesian Optimization in High-Dimensional Mixed Spaces: A Complex-Valued Field Perspective

doi:10.1049/ell2.70487

2025-11-22

Chao Xue

Zhenfang Wang

Jiaxing Li

李春光 (Chun Guang Li) *

DOI：10.1049/ell2.70487

原文链接

查看原文

摘要

En 中文

贝叶斯优化（BO）是一种用于优化黑箱函数的强大且样本高效的方法。然而，在实际应用中，它面临两大主要挑战：（a）扩展到高维参数空间；（b）在包含连续、二元和分类变量的混合空间中进行优化。本文提出了一种统一方法，称为ComplexBO，通过利用复值表示来解决这些挑战。我们的方法利用复数来表示高维输入空间和低维目标空间中的变量，并将这两个空间之间的映射建模为复数的旋转操作。与子空间嵌入方法不同，我们的ComplexBO提供了一种优雅的解决方案来处理不同类型的输入变量，同时保留非线性特性。实证评估表明，我们的ComplexBO在包括机器学习基准测试和大型语言模型中的上下文长度扩展在内的广泛任务中，取得了与当前最佳方法相比具有竞争力的结果。

Keyword:

Bayesian Optimization (BO)

ComplexBO

complex field

hyper-parameter tuning