Emp: enhance memory in data pruning

doi:10.1007/s10618-025-01183-7

Emp: enhance memory in data pruning

2026-03-06

0

PRE

AI

DOI：10.1007/s10618-025-01183-7

原文链接

原文求助

摘要

En 中文

大型语言和视觉模型已展现出卓越性能，但其高昂的预训练和微调成本促使人们日益关注通过数据集剪枝来加速训练。传统剪枝方法通常依赖样本损失来识别并保留最具“难度”的样本。然而，随着剪枝率增加，各样本的训练频率趋于均匀，可能导致关键或通用样本欠拟合。我们识别出这一现象为低频学习（LFL），即模型未能保留多数样本的知识。本研究中，我们对LFL的评分函数进行分解，提供了对其低效性的理论分析。为解决此问题，我们提出通过引入记忆项来增强评分函数，旨在强化模型对关键数据的记忆能力，并给出该记忆项的近似方法。此外，我们将此概念扩展至自监督学习（SSL），首次探讨记忆在SSL中的作用。通过对比学习，我们从理论和实验上推导出该记忆项。基于这些见解，我们提出增强记忆剪枝（EMP）技术，通过改善模型的数据保留能力来缓解高剪枝率下的记忆损失。EMP已在图像分类、自然语言理解及模型预训练等多项任务中进行评估。实验表明，EMP显著提升模型性能，尤其在极端剪枝条件下效果更佳。例如，在CIFAR100-ResNet50预训练任务中，剪枝率达70%时，EMP相较当前最优方法提升了2.2个百分点。

Keyword:

Data pruning

Model memory

Mutual information

Self-supervised Learning

Supervised learning

Emp: enhance memory in data pruning

摘要

期刊

机构

引用论文