.png){kind=icon}
返回
Lifelong Generative Modelling Using Dynamic Expansion Graph Model
.png){kind=icon}
OA
AI
DOI：10.1609/aaai.v36i8.20867.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
变分自编码器（VAEs）在连续学习多个任务时会出现性能退化，这是由灾难性遗忘引起的。为解决知识损失问题，VAEs采用了生成重放（GR）机制或扩展网络结构（ENA）。本文通过推导负边际对数似然的上界，采用联合GR和ENA的方法研究VAEs的遗忘行为。这种理论分析为VAEs在终身学习中如何遗忘先前学到的知识提供了新的见解。分析表明，在ENA框架下考虑模型混合时，当对组件数量没有限制时，可以达到最佳性能。然而，基于ENA的方法可能需要过多的参数。这促使我们提出一种新颖的动态扩展图模型（DEGM）。DEGM根据每个新数据集相对于网络从先前任务中已学信息的新颖性来扩展其结构。DEGM训练优化了知识结构化，表征了对应于过去和最近学习任务的联合概率表示。我们证明了DEGM既能保证每个任务的最佳性能，同时也能最小化所需的参数数量。
期刊
暂无期刊信息
机构
暂无机构信息
引用论文
暂无论文信息