PRD3M: Prototype Representation Dataset Distillation via Diffusion Model

Weiwei Xiao

doi:10.1109/tmm.2026.3673581

PRD3M: Prototype Representation Dataset Distillation via Diffusion Model

2026-01-01

0

PRE

AI

DOI：10.1109/tmm.2026.3673581

原文链接

原文求助

摘要

En 中文

深度神经网络（DNNs）已取得成功，但其对大规模数据集的依赖带来了巨大的计算和存储开销。数据精炼（DD）是一种有效的数据集压缩技术，可将大规模数据集压缩为小型精炼子集，从而降低计算和存储成本。尽管已提出多种基于匹配的DD方法，但其在像素空间的双层优化导致高昂的计算成本，限制了其在大规模数据集和复杂DNNs中的应用。近期DD方法利用预训练生成模型生成精炼图像，扩展至大规模数据集并提高泛化能力。然而，这些方法面临从预训练生成模型中解耦与原始数据集最相关信息挑战。本文提出一种原型精炼方法，利用代表性且多样化的原型通过稳定扩散生成精炼图像。具体而言，我们首先在潜在空间中获取代表性原型以压缩原始数据集，通过约束原型与原始数据集潜在向量之间的分布一致性。随后，通过多样性损失确保代表性原型间的多样性。最后，利用获得的原型及文本标签通过稳定扩散生成精炼图像。与现有DD方法相比，所提方法在减少训练时间和GPU开销的同时，能有效地扩展至大规模数据集。大量实验表明，所提方法在大型数据集上优于当前最先进方法，并提高了跨架构泛化能力。

Keyword:

Prototypes

Diffusion models

Training

Optimization

Noise reduction

Computational modeling

Trajectory

Redundancy

Image resolution

Noise measurement

Dataset distillation

prototype representation

latent diffusion model

PRD3M: Prototype Representation Dataset Distillation via Diffusion Model

摘要

期刊

机构

引用论文