GeNeX: Genetic Network eXperts Framework for Addressing Validation Overfitting

doi:10.1109/tnnls.2026.3669867

GeNeX: Genetic Network eXperts Framework for Addressing Validation Overfitting

2026-03-06

0

PRE

AI

I

Ioannis E. Livieris

DOI：10.1109/tnnls.2026.3669867

原文链接

原文求助

摘要

En 中文

过度依赖验证性能进行模型选择可能导致验证过拟合（VO），即模型在开发阶段表现有效但在测试时失效。该问题在低数据量和分布偏移情况下进一步加剧，导致验证信号不可靠。尽管集成学习被广泛用于提升鲁棒性和泛化能力，但大多数集成构建流程高度依赖验证分数，使其易受VO影响并限制其在真实部署场景中的可靠性。为解决此问题，我们提出遗传网络专家（GeNeXs）框架，在模型生成和集成构建阶段均缓解验证过拟合。在生成阶段，GeNeX采用双路径策略：梯度训练与遗传模型进化相结合。通过训练父代网络的交叉操作生成子代网络，促进结构多样性和权重级再生，无需依赖验证反馈，从而形成稳健且未过拟合的候选模型池。在集成构建阶段，候选网络按预测行为聚类以识别互补模型空间。每个聚类内依据鲁棒性和代表性等标准选择多个多样专家，并在权重级融合形成紧凑原型网络。最终集成通过序列二次规划（SQP）优化输出级协同效应聚合这些原型。为严格评估VO韧性，我们引入VO感知评估协议，通过强制训练与测试子集间的分布偏离来模拟真实部署场景。在四个真实图像分类任务（皮肤癌、DeepFake检测、植物病害和肺炎）上的实验表明，GeNeX在有限数据和偏移感知条件下持续优于当前最佳集成方法，实现强泛化能力且VO差距最小。

Keyword:

Deep learning

distribution shifts

ensemble learning

genetic algorithms (GAs)

validation overfitting

GeNeX: Genetic Network eXperts Framework for Addressing Validation Overfitting

摘要

期刊

机构

引用论文