.png){kind=icon}
返回
L3Net: Localized and Layered Reparameterization for incremental learning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2025.107420.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于模型的类增量学习（CIL）方法旨在通过保留特定参数和扩展模型架构来解决灾难性遗忘的挑战。然而，保留过多参数会导致模型过于复杂，增加推理开销。此外，压缩这些参数以减小模型尺寸可能会导致性能下降。为应对这些挑战，我们提出了一种新颖的三阶段CIL框架，称为Localized and Layered Reparameterization for Incremental Learning（L3Net）。我们方法的理论依据是通过有选择地扩展和优化关键组件来平衡模型复杂度与性能。具体而言，该框架引入了一种Localized Dual-path Expansion结构，通过在每层卷积层后集成融合选择器，使模型能够同时从新旧特征中学习。为进一步最小化新旧特征之间的潜在冲突，我们实现了Feature Selectors Gradient Resetting方法，该方法通过稀疏化融合选择器并减少冗余旧特征的影响。此外，为解决类别不平衡导致的分类偏差，我们设计了Decoupled Balanced Distillation技术，并应用Logit Adjustment以更有效地保留回放集中的知识。大量实验表明，我们的L3Net框架在包括CIFAR-100和ImageNet-100/1000在内的常用基准测试中优于当前最先进的方法。
Keyword:
Class incremental learning
Knowledge distillation
Reparameterization
期刊
IF:
6.3
论文数:
7.8K
被引数:
3.0W
机构
暂无机构信息
引用论文
.png){kind=icon}
Diverse Branch Block: Building a Convolution as an Inception-like Unit多样化的分支块: 将卷积构建为类似Inception的单元
OAAI
OAAI分享收藏
查看更多内容