.png){kind=icon}
返回
DEFT: Data-Efficient Fine-Tuning Through Multi-Dimensional Data Selection
.png){kind=icon}
PRE
AI
DOI：10.1109/TASLPRO.2025.3642562.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
指令微调已作为适配大型语言模型（LLMs）到下游任务的主流方法，现有方法主要依赖扩大指令数据规模来提升模型性能。然而，越来越多的证据表明，盲目扩大数据规模可能产生次优效果，因为缺乏系统性评估标准常导致指令数据集中出现冗余或低质量样本。因此，本文提出DEFT框架，从复杂度、质量、知识和多样性四个维度评估指令数据。针对复杂度和质量，开发Evol-Ranking方法，从教师模型（如gpt-3.5-turbo）中提炼排序能力至专用学生模型，并提出精炼蒸馏以逐步优化学生模型。对于知识维度，将给定LLM上文本的平均负对数概率定义为知识指标，提供模型感知的度量。对于多样性，先获取各样本的语义表示，再计算样本间相似度。最后通过集成评分机制融合上述各维度，用于指令微调的数据选择。在MT-Bench和AlpacaEval上的大量实验表明，DEFT仅使用6,000个SFT训练样本即可超越或持平当前开源对齐模型的性能。
Keyword:
Data models
Complexity theory
Training data
Training
Speech processing
Semantics
Adaptation models
Tuning
Measurement
Large language models
Data-efficient fine-tuning
large language models (LLMs)
instruction fine-tuning
data selection
期刊
I
IF:
0
论文数:
151
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏
分享收藏 没有更多内容
没有更多内容