.png){kind=icon}
返回
Zero-Shot Neural Network Evaluation With Sample-Wise Activation Patterns
.png){kind=icon}
PRE
AI
DOI：10.1109/tpami.2026.3691075.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
零样本代理，又称免训练指标，被广泛用于减少神经网络评估中的计算开销，特别是在神经架构搜索（NAS）等场景中，因为它们无需任何训练。现有零样本指标存在若干局限性，包括与真实性能的弱相关性以及在不同网络或下游任务上的泛化能力差。例如，大多数此类指标仅适用于卷积神经网络（CNNs）或Transformer，而非两者兼用。为解决这些局限性，我们提出样本级激活模式（SWAP）及其衍生指标SWAP-Score，这是一种新颖且高效的零样本指标。SWAP-Score广泛适用于两种架构家族和任务领域，在多数任务中表现出强预测性能。该指标通过小批量样本衡量神经网络的表示能力，与网络的基准性能高度相关。对于CNNs和Transformer，SWAP-Score在计算机视觉和自然语言处理任务中均优于现有零样本指标。例如，SWAP-Score与DARTS CNN在CIFAR-10验证准确率之间的斯皮尔曼相关系数为0.93，FlexiBERT Transformer在GLUE任务上为0.71。此外，SWAP-Score与标签无关，因此可用于语言模型的预训练阶段，以估计其下游任务性能。在NAS应用中，基于SWAP的NAS（SWAP-NAS）仅需约6分钟（CIFAR-10）和9分钟（ImageNet）GPU时间即可达到有竞争力的性能。
Keyword:
Zero-shot
training-free
performance evaluation
convolutional neural network
transformer
neural architecture search
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and
Crosslingual Focused EvaluationSemEval-2017任务1: 语义文本相似性多语言和
跨语种聚焦评价
OAAI
OAAI分享收藏分享收藏
查看更多内容