Architecture Transferability Quantifying for Multi-Task Neural Architecture Search

Tingjie Zhang

doi:10.1109/TETCI.2025.3647652

Architecture Transferability Quantifying for Multi-Task Neural Architecture Search

2026-01-20

0

PRE

AI

DOI：10.1109/TETCI.2025.3647652

原文链接

原文求助

摘要

En 中文

多任务神经网络架构搜索（MTNAS）在不同任务之间传递神经网络模型的结构知识，其基本目标是优化神经网络架构。MTNAS使源任务中包含的有效架构模式能够转移到并在目标任务中复用，这一特性被称为可迁移性。然而，源任务与目标任务之间的排名混乱会降低架构的可迁移性。为解决此问题，我们设计了一种架构可迁移性量化方法（ATQ）。首先，我们的与数据无关的方法将神经网络架构映射为架构嵌入向量，用于后续可迁移性预测。其次，我们应用基于实例的分类器——迁移排名（transfer rank），以缓解可迁移性下降的问题。在本工作中，ATQ被整合到一种进化多任务NAS算法（KTNAS）中，以选择具有更好可迁移性的候选架构。在多个基准数据集（如NASBench-201、TransNAS-Bench-101和DARTs）上进行了大量实验。实验结果表明，KTNAS在搜索效率及下游任务性能方面优于同类MTNAS算法。消融研究证明了迁移排名在提升迁移性能方面的重要性。

Keyword:

Multi-task neural architecture search

evolutionary multi-tasking optimization

architecture transferability quantifying

Architecture Transferability Quantifying for Multi-Task Neural Architecture Search

摘要

期刊

机构

引用论文