.png){kind=icon}
返回
A few-shot learning method based on knowledge graph in large language models
.png){kind=icon}
PRE
AI
DOI：10.1007/s41060-024-00699-3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型的出现极大地改变了自然语言处理和文本生成。针对特定领域微调这些模型使它们能够生成针对这些领域 (例如法律或医学领域) 的独特需求定制的答案。但是，这些模型在少数情况下通常表现不佳。本文中，通过提出三种不同的KDGI (知识驱动对话生成实例) 生成策略，包括基于实体的KDGI生成、基于关系的KDGI生成和基于语义的多级KDGI生成，解决了在低样本场景中微调大型语言模型中数据稀缺的挑战。这些策略旨在增强少量数据集，以解决由数据不足引起的低微调指标的问题。具体来说，利用知识图来定义不同的KDGI生成策略，以增强少量数据。随后，这些KDGI数据被用于使用P调整v2方法来微调大型语言模型。通过多次实验，使用BLEU和ROUGE指标验证了三种KDGI生成策略的有效性，并证实了在大型语言模型上进行少镜头学习的微调收益。为了进一步评估KDGI的有效性，进行了额外的实验，包括医学领域中基于LoRA的微调以及利用掩模语言模型增强、回译和噪声注入方法的比较研究。因此，本文提出了一种在快速数据工程中利用知识图的参考方法，该方法显示出促进对大型语言模型进行微调的少镜头学习的潜力。
Keyword:
Large language model
Few-shot learning
Fine-tuning
Knowledge-driven dialog generation
Knowledge graph
期刊
I
IF:
2.8
论文数:
1.1K
被引数:
1.3K
机构
引用论文
Geochemical evidence for sediment provenance in mudstones and fossil‐poor wackestones (Upper Jurassic, Majorca Island)泥岩和化石贫乏的泥岩沉积物来源的地球化学证据 (马略卡岛上侏罗纪).png)
Terra Nova
Terra NovaIF0
PREAI
分享收藏Changes in the Radiation Toxicity of Human Lymphoblastic T-cell Line (Jurkat) by a Common Pesticide: Diazinon由常见农药：Diazinon引起的人类淋巴母细胞T细胞系（Jurkat）辐射毒性的变化
OAAI
OAAI分享收藏The adsorption of monolayer coatings on iron nanoparticles: Mössbauer spectroscopy and XANES results
PREAI
分享收藏Chinese clinical named entity recognition via multi-head self-attention based BiLSTM-CRF基于bilstm-crf的多头自我注意中文临床命名实体识别
PREAI
分享收藏A few-shot learning method for vibration-based damage detection in civil structures基于振动的土木结构损伤检测的少镜头学习方法STRUCTURES
STRUCTURESIF4.3
PREAI
分享收藏Thus spoke GPT-3: Interviewing a large-language model on climate finance这样说GPT-3: 采访一个关于气候融资的大语言模型
OAAI
OAAI分享收藏
查看更多内容