.png){kind=icon}
返回
Neural architecture search: two constant shared weights initialisations
.png){kind=icon}
OA
AI
DOI：10.1007/s10462-025-11238-2.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在过去十年中，零成本指标因无需训练即可评估网络结构的能力，在神经架构搜索（NAS）中获得了显著的关注。这些指标比传统NAS方法快得多且计算成本更低，并能揭示神经网络结构的内部工作机制。本文介绍了epsinas，一种新型零成本NAS指标，它通过两种恒定的共享权重初始化及其输出统计量来评估架构潜力。我们证明，原始输出的离散度（经平均幅值归一化后）与训练精度存在强相关性。这一效应在NAS-Bench-101、NAS-Bench-201和NAS-Bench-NLP上的图像分类和语言任务中均成立。该方法无需数据标签，仅需单个小批量数据，且无需计算梯度，使其独立于训练超参数、损失指标和人工标注。它能在GPU秒级分数时间内评估一个网络，并能无缝集成到现有NAS框架中。支持本研究的相关代码可在GitHub上的https://github.com/egracheva/epsinas找到。
Keyword:
Machine learning
Neural architecture search
Zero-cost NAS
Efficient NAS
NAS benchmarks
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
13.9
论文数:
6.1K
被引数:
1.9W
机构
引用论文
Training-Free Transformer Architecture Search With Zero-Cost Proxy Guided Evolution无训练的Transformer架构搜索：基于零成本代理引导的进化
.png){kind=icon}
PREAI
分享收藏ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-Cost ProxiesProxyBO：利用零成本代理的贝叶斯优化加速神经网络结构搜索
OAAI
OAAI分享收藏Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities零样本神经架构搜索：挑战、解决方案与机遇OAAI
OAAI分享收藏
查看更多内容