返回
An Efficient Evolutionary Neural Architecture Search Algorithm Without Training
DOI:10.3390-biomimetics10070421.png)
摘要
En 中文
神经网络架构搜索(NAS)在自主构建高性能网络架构方面取得了显著进展,引起了广泛关注。然而,现有NAS方法的一个关键挑战是性能评估计算密集,导致时间和计算资源消耗巨大。本文提出了一种高效的进化神经网络架构搜索(ENAS)方法来解决这一问题。具体而言,为了加速算法收敛速度并缩短搜索时间,从而避免算法早期的盲目搜索,我们借鉴生物识别原理重新设计了进化算法中个体间的交互。通过充分利用个体携带的信息,我们促进了个体及其邻居之间的信息交换和优化,从而在保持全局搜索能力的同时提升了局部搜索能力。此外,为了加速评估过程并最小化计算资源消耗,引入了一种多指标免训练评估器来评估网络性能,绕过了资源密集的训练阶段,所采用的多指标组合方法进一步解决了排名偏差问题。为评估所提出方法的表现,我们在两个广泛采用的标准数据集NAS-Bench-101和NAS-Bench-201上进行了实验。与最先进算法的对比分析表明,我们提出的方法能够在显著减少时间消耗的同时,识别出性能相当或更优的网络架构。
Keyword:
Neural Architecture Search
Evolutionary Algorithm
Multi-metric Evaluator
Efficient Search
Network Performance
期刊
B
IF:
3.9
论文数:
3.3K
被引数:
5.1K
机构
引用论文
A new genetic algorithm based evolutionary neural architecture search for image classification一种新的基于遗传算法的进化神经结构图像分类算法
Yang, J.; Liu, Y.; Wang, W.; Wu, H.; Chen, Z.; Ma, X. PATNAS: A Path-Based Training-Free Neural Architecture Search. IEEE Trans. Pattern Anal. Mach. Intell. 2024, 47, 1484–1500. [Google Scholar] [CrossRef]Yang, J.; Liu, Y.; Wang, W.; Wu, H.; Chen, Z.; Ma, X. PATNAS: 一种基于路径的无训练神经网络架构搜索方法。IEEE Trans. Pattern Anal. Mach. Intell. 2024, 47, 1484–1500. [Google Scholar] [CrossRef]

