A scalable complexity-regularized modular network for continual learning

Ziye Fang

doi:10.1016/j.neucom.2026.135079

A scalable complexity-regularized modular network for continual learning

2026-09-11

0

PRE

AI

DOI：10.1016/j.neucom.2026.135079

原文链接

原文求助

摘要

En 中文

模块化持续学习通过组合现有模块并在需要时引入新的计算单元来支持知识复用和容量适应。然而，动态可扩展的模块化模型必须协调两个耦合过程：有效组合当前模块以及确定其表示能力是否不足以应对新任务。为解决这些挑战，我们提出了复杂度正则化的可微分模块搜索（CR-DMS），该算法将可微分模块组合与表示驱动的结构扩展相结合。CR-DMS引入了逐层结构复杂度（LSC）目标，该目标在可微分模块搜索过程中正则化模块贡献分布的离散度和模块表示的成对相似性。神经网络控制网络（NCN）评估现有模块的表示充分性，并在检测到表示差距时触发逐层扩展。新引入的模块通过专门的训练阶段进行优化，然后集成到模块搜索空间中。实验在CTrL基准中的五个异构任务流以及CIFAR-100和TinyImageNet-200的任务增量划分上进行。在CTrL中，CR-DMS实现了数值最高的平均最终准确率，零符号遗忘与多个模块化基线匹配，并在比较方法中达到第二高的平均迁移得分。它还在不同任务划分中保持有竞争力的分类性能，同时比可扩展模块化基线LMC需要更少的平均浮点运算次数和更短的训练时间。消融研究显示，LSC目标和专门的训练阶段均对最终分类性能有持续贡献。

Keyword:

Continual learning

Modular networks

Catastrophic forgetting

Dynamically scalable networks

A scalable complexity-regularized modular network for continual learning

摘要

期刊

机构

引用论文