.png){kind=icon}
返回
From task-aware to task-agnostic parameter isolation for incremental learning
.png){kind=icon}
OA
AI
DOI：10.1007/s11063-025-11792-4.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
缓解持续学习中的灾难性遗忘是人工智能领域长期存在的挑战。通常，用于减轻遗忘的方法要么使用回放缓冲区、预训练骨干网络，要么使用任务级知识。然而，这些要求导致了在可扩展性、隐私保护和高效部署方面的严重限制。在本工作中，我们探索如何在基于参数隔离的增量学习框架中消除对这些要求的依赖。我们提出了低干扰特征提取子网络（LIFES）方法，该方法为每个任务学习一个子网络，并在推理时同时使用所有子网络。该方案最小化了依赖需求，但同时也带来了需要解决的特定挑战。为正式阐述这些问题，我们将灾难性遗忘问题分解为4种不同原因，并采用新颖的侧向分类器正则化、权重标准化和子网络干扰连接剪枝来应对这些挑战。具体而言，侧向分类的使用展现出非常有利的结果，迫使模型学习具有更高类间距离的分布。通过这些组件，LIFES在标准任务无关场景中取得了具有竞争力的结果，证明了参数隔离这一新视角的可行性，其依赖需求极低。最后，我们讨论了未来的工作如何进一步改进这一新范式，以及所定义的策略如何与其他方法互补。
Keyword:
Continual Learning
Catastrophic Forgetting
Task-agnostic
Representational Overlap
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.8
论文数:
178
被引数:
5.5K
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容