GAGS: parallelized genetic algorithm-based grid search for SVM plus model optimization

J. D. Fernández

doi:10.1007/s10732-026-09588-3

GAGS: parallelized genetic algorithm-based grid search for SVM plus model optimization

2026-03-14

0

PRE

AI

DOI：10.1007/s10732-026-09588-3

原文链接

原文求助

摘要

En 中文

支持向量机（SVM）因其强大的泛化能力而被广泛应用于监督学习。SVM+在利用特权信息学习（LUPI）范式下扩展了这一框架，融入了推理阶段不可用的额外训练阶段信息。然而，SVM+涉及四个超参数的调优，将优化问题的维度增加了一倍，从而显著增加了计算成本。为解决这一挑战，本研究引入了基于遗传算法的网格搜索（GAGS），这是一种专门针对SVM+模型选择的方法论混合框架，集成了基于网格的结构化搜索、通过日志映射实现的适应性精度以及先进的并行化策略。GAGS中的“网格搜索”指的是用于初始探索和并行计算的基于网格的结构化分区，而非传统的穷举搜索。通过将计算分布到独立处理单元，GAGS能够对超参数空间进行结构化探索，并降低过早收敛和陷入局部最优的可能性，同时在评估设置下显著缩短执行时间。所提出的GAGS-SVM+框架在MNIST和CWRU数据集上的二元分类任务下，按照严格的20次独立运行协议进行了评估。实验结果表明，在固定评估预算下，GAGS方法学实现了比测试基线统计上更高的平均准确率，将视觉领域测试（MNIST）的错误率降低至4.5%以下，并在相同评估预算和数据划分下，在两个数据集上始终达到或超过元启发式基线。性能提升进一步体现在评估数据集的数据稀缺场景下的测试错误减少。此外，GAGS的并行实现据报道硬件配置下实现了近4倍的加速，支持其在评估计算体系中的可扩展性，以及适用于以高成本QP求解为特征的资源密集型核优化任务的适用性。

Keyword:

SVM plus

Metaheuristic search

Genetic algorithm

Parallel computing

LUPI

GAGS: parallelized genetic algorithm-based grid search for SVM plus model optimization

摘要

期刊

机构

引用论文