.png){kind=icon}
返回
PREmbed: Balancing Conditional Generative Models with Embedding Pretraining and Regularization
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14020280.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期条件生成模型（例如条件变分自编码器（CVAE）和条件去噪扩散概率模型（CDDPM））的进展，这些模型利用类别特定嵌入来生成特定类别的图像，已在平衡数据集上展现出卓越的高质量图像生成能力。然而，面对不平衡的现实世界数据时，其性能下降，影响生成图像的保真度和多样性。本文探讨了CVAE和CDDPM中不平衡问题的原因及解决方案。通过选择性重加权嵌入层和主网络的梯度，我们发现嵌入层的偏差是这些模型中的关键瓶颈。受此启发，我们提出了一种训练方法学——嵌入预训练与正则化（PREmbed），用于解决模型嵌入层中的偏差学习问题。PREmbed包含两个关键组成部分：（i）在原始不平衡数据集上进行掩码自动编码器预训练，以获取鲁棒的初始嵌入；（ii）一种嵌入正则化损失，用于在训练阶段保持类别间距离，以提升不平衡嵌入学习。PREmbed的实施促进了鲁棒嵌入层的增强收敛。我们在不平衡的CIFAR-10和CUB-200数据集上的实验表明，PREmbed提升了CVAE和CDDPM的性能；在不平衡CIFAR-10上，它超越基线CVAE 22.3%（FID 18.63）和CDDPM 30.3%（FID 12.70）；在CUB-200上，超越CVAE 33.7%（FID 24.08）和CDDPM 26.5%（FID 13.90）；在ImageNet-LT（在此任务中实现不平衡条件图像生成领域的最佳性能）上，超越CVAE 16.4%（FID 49.41）和CDDPM 15.2%（FID 33.05）。
Keyword:
data imbalance
image generation
conditional variational autoencoder
conditional denoising diffusion probabilistic model
masked representation learning
期刊
IF:
2.6
论文数:
9.8K
被引数:
4.7W
机构
引用论文
A systematic study of the class imbalance problem in convolutional neural networks卷积神经网络中类不平衡问题的系统研究.png)
NEURAL NETWORKS
OAAI
NEURAL NETWORKSIF6.3
OAAI分享收藏SandGAN: Style-Mix Assisted Noise Distortion for Imbalanced Conditional Image SynthesisNEUROCOMPUTING
NEUROCOMPUTINGIF6.5
PREAI
分享收藏
查看更多内容