.png){kind=icon}
返回
Multi-LoRA continual learning based instruction tuning framework for universal information extraction
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2024.112750.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通用信息提取 (通用IE) 旨在开发一种能够解决多个IE目标任务的模型。以前的工作通过辅助任务增强了目标任务的提取性能。然而，在学习策略方面仍然存在局限性。一方面，基于联合学习的通用IE方法简单地将辅助任务与目标任务混合，无法使模型在学习目标任务之前从辅助任务中掌握基本知识。从另一个方面来看，基于连续学习的通用IE方法会顺序更新辅助任务和目标任务上的所有模型参数，这往往会导致灾难性的遗忘。在这项研究中，我们为通用IE设计了一个基于多LoRA连续学习的指令微调框架。具体来说，我们为学习辅助任务和目标任务设计了独特的LoRA模块。我们首先冻结预先训练的权重，并通过一个LoRA模块更新辅助任务的其他参数。随后，我们保持权重冻结，并通过另一个LoRA模块进一步调整参数，以使模型适应目标任务。最后，我们将冻结的权重与学习的权重合并，从而使模型能够更好地利用推理阶段获得的能力。因此，我们的模型在学习目标任务之前掌握了基本的提取能力，并且在目标学习过程中不会忘记这些基本知识。此外，我们将提取，分类和识别视为基本能力，并基于这些基本能力进一步设计辅助任务。在3个任务的37个数据集上的实验结果表明，我们的方法达到了最先进的性能。
Keyword:
Multi-LoRA continual learning
Instruction tuning
Universal information extraction
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Multi-information interaction graph neural network for joint entity and relation extraction用于联合实体和关系提取的多信息交互图神经网络
PREAI
分享收藏Developmental emergence of sleep rhythms enables long-term memory capabilities in Drosophila睡眠节律的发展出现使 果蝇 具有长期记忆能力.png)
OAAI
IF0
OAAI分享收藏WHY THERE ARE COMPLEMENTARY LEARNING-SYSTEMS IN THE HIPPOCAMPUS AND NEOCORTEX - INSIGHTS FROM THE SUCCESSES AND FAILURES OF CONNECTIONIST MODELS OF LEARNING AND MEMORY为什么在海马和新大脑皮层中存在互补的学习系统-来自学习和记忆的连接主义模型的成功和失败的见解PSYCHOLOGICAL REVIEW
PSYCHOLOGICAL REVIEWIF5.8
PREAI
分享收藏Population screening for the common G985 mutation causing medium-chain acyl-CoA dehydrogenase deficiency with Eu-labeled oligonucleotides and the DELFIA system用Eu标记的寡核苷酸和DELFIA系统筛选引起中链酰基辅酶a脱氢酶缺乏症的常见G985突变的人群
OAAI
OAAI分享收藏分享收藏
查看更多内容