.png){kind=icon}
返回
MemOpt: a memory optimization method for deep learning model training based on dual intelligent reinforcement learning
.png){kind=icon}
PRE
AI
DOI：10.1093/comjnl/bxag014.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近年来，随着数据集规模和神经网络模型规模的快速增长，模型训练过程中的内存需求与训练设备上可用的内存资源之间出现了显著不平衡。现有的内存优化技术如重计算、内存交换及其自适应组合并未充分考虑模型的结构信息，并忽视了应用成本和时间对训练效率的影响。针对这一问题，本文提出了一种名为MemOpt的内存优化方法，该方法利用双智能体强化学习，根据模型结构和设备信息动态搜索合适的内存优化策略和执行时机。该方法能在不牺牲准确性的前提下优化内存，同时最小化额外开销。实验结果表明，与基线方法相比，MemOpt方法将模型训练的最大批处理量最高提升了8.7%，训练吞吐量最高提升了42.3%。未来，该方法可能在大规模神经网络中找到更好的应用。
Keyword:
memory optimization
deep learning
reinforcement learning
batch size
training throughput
期刊
C
IF:
1.5
论文数:
103
被引数:
0
机构
引用论文
分享收藏分享收藏分享收藏Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用.png)
PROCEEDINGS OF THE IEEE
PROCEEDINGS OF THE IEEEIF25.9
PREAI
分享收藏AutoTM: Automatic Tensor Movement in Heterogeneous Memory Systems using Integer Linear Programming
OAAI
OAAI分享收藏
分享收藏
查看更多内容