返回
DP-SWAP: Fast Swapping Strategy Based on Dynamic Programming
DOI:10.1016/j.future.2025.108071.png)
摘要
En 中文
神经架构搜索(NAS)已作为一种有效的方法用于自动化神经网络设计。然而,由于训练过程中需要评估大量候选模型,NAS会对GPU内存造成显著压力。虽然张量交换有助于减少内存使用,但现有的张量选择方法依赖于广泛的迭代搜索,这需要反复遍历模型计算图来评估交换方案的影响——导致高时间复杂度和在动态NAS场景中的可扩展性差。
Keyword:
Neural Architecture Search
GPU memory pressure
tensor swapping
model computation graphs
dynamic NAS scenarios

