.png){kind=icon}
返回
Joint Memory Optimization for Continual Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TCSVT.2025.3539661.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
持续学习，聚焦于顺序知识获取和保留，需要高效内存管理。本文介绍了一种整体方法，不同于传统方法中分别优化神经网络和回放缓冲区内存。我们旨在提高整体内存效率，在严格内存约束下同时处理神经网络参数和回放缓冲区。这是通过利用神经网络参数冗余并采用剪枝和量化等压缩技术实现的，允许数据回放存储而无需额外内存开销。由于组合任务的复杂搜索空间，各组件间的内存使用平衡具有挑战性。我们通过将其概念化为双层优化问题来解决，在单一目标下整合所有任务，从而优化内存使用并管理不同组件间的相互作用。我们采用优化技术的协同作用来解决这一具有挑战性的双层优化问题。我们的实验结果证实了所提出方法的优越性能，在严格内存约束下，在各类数据集和神经网络架构上，持续优于现有的基于提示、特征回放、样本回放和基于正则化的方法。
Keyword:
Continual learning
model compression
期刊
IF:
11.1
论文数:
873
被引数:
3.1W
机构
引用论文
.png){kind=icon}
CODA-Prompt: COntinual Decomposed Attention-Based Prompting for Rehearsal-Free Continual Learning
OAAI
OAAI分享收藏The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization健壮性的多面: 分布外泛化的批判性分析OAAI
OAAI分享收藏分享收藏
查看更多内容