.png){kind=icon}
返回
Improving Continual Relation Extraction via Parameter Regularization and Dynamic Memory
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-5719-6_21.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
持续关系抽取旨在解决任务中已建立关系知识的灾难性遗忘问题。现有的持续关系抽取方法基于序列任务设置，模型在每项任务上训练以更新参数，并通过存储典型样本并回放来缓解遗忘。然而，典型样本选择和存储方法采用聚类算法，为每类关系存储相同数量的样本，未能动态地将更多存储容量分配给难以学习的关系类别。这种简单策略还导致随着序列任务的进行，存储空间无限增长。同时，旧的关系知识隐含存储在模型参数中，随着任务不断更新参数，无疑会导致遗忘。为解决这些问题，我们提出了一种基于参数正则化和动态内存（PRDM）的新型持续关系抽取模型。具体而言，采用动态内存方法更合理地分配存储空间，并将前一项任务的测试结果作为当前任务关系的内存分配依据。我们还引入了参数正则化机制，通过估计参数重要性来限制参数变化。在两个公开数据集上的实验结果表明，该模型在较长任务序列中具有优势，并验证了我们的方法在缓解灾难性遗忘方面的有效性。代码和数据集可通过https://github.com/xueruisxf/PRDM获取。
Keyword:
Continual Learning
Relation Extraction
Catastrophic Forgetting
期刊
W
IF:
0
论文数:
32
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容