Semantic-Aware Data Augmentation for Text-to-Image Synthesis

doi:10.1609/aaai.v38i6.28315

Semantic-Aware Data Augmentation for Text-to-Image Synthesis

2024-03-24

0

OA

AI

DOI：10.1609/aaai.v38i6.28315

原文链接

原文求助

摘要

En 中文

数据增强已被最近用作各种视觉-语言深度神经网络中的一种有效正则化方法。然而，在文本到图像合成（T2Isyn）中，当前的数据增强方法仍然受到增强配对数据之间语义不匹配的影响。更糟糕的是，当生成的图像语义约束较弱时，可能会发生语义坍塌。在本文中，我们开发了一种新的语义感知数据增强（SADA）框架，专门用于T2Isyn。具体而言，我们提出通过隐式文本语义保持增强在语义空间中对文本进行增强，并结合一种专门设计的图像语义正则化损失作为生成图像语义保持，以有效应对语义不匹配和坍塌问题。作为主要贡献之一，我们从理论上证明，隐式文本语义保持增强可以证明更好的文本-图像一致性，而图像语义正则化损失对生成图像语义的正则化可以避免语义坍塌并提升图像质量。广泛的实验验证表明，SADA增强了文本-图像一致性，并显著提高了各种骨干网络T2Isyn模型的图像质量。特别是，在Stable Diffusion模型的调优过程中融入SADA也能带来性能提升。

Semantic-Aware Data Augmentation for Text-to-Image Synthesis

摘要

期刊

机构

引用论文