.png){kind=icon}
返回
Decoupled gradient-guided stratification for resource-efficient multi-modal data pruning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patrec.2026.07.031.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态大语言模型（MLLMs）的指令微调依赖于海量数据集，阻碍了可扩展性和效率。因此，数据修剪已成为一种关键策略，旨在使用最小子集实现全数据集性能。然而，现有方法往往带来高昂的计算开销或在高修剪率下导致性能崩溃。为解决这些挑战，我们提出了解耦梯度引导分层（DGGS）框架，一种资源高效的数据修剪方法。与通过外部代理模型引入额外计算的方法不同，我们利用内部视觉编码器原生地对数据进行视觉复杂度分层，并使用大语言模型模块作为确定性验证器来量化各层的语义密度。DGGS动态地将修剪预算分配给语义重要性超过视觉复杂度的分层区域，过滤掉视觉噪声。经验表明，DGGS在极小的额外内存开销下运行，实现了稳健的性能，使用1%的训练数据即可保留约85%的全数据集性能。
Keyword:
Multimodal LLMs
Data pruning
Efficiency
