Codebook Transfer With Vision-to-Language Translation for Vector Quantization

doi:10.1109/TPAMI.2026.3667935

Codebook Transfer With Vision-to-Language Translation for Vector Quantization

2026-02-25

0

PRE

AI

DOI：10.1109/TPAMI.2026.3667935

原文链接

原文求助

摘要

En 中文

矢量量化（VQ）是图像合成领域的一个基本研究问题，其目标是用离散标记序列表示图像。现有研究通过从零开始并以码独立的方式学习离散码本，将连续表示量化为离散标记，有效解决了这一问题。然而，从零开始且码独立地学习码本极具挑战性，这可能是导致码本坍塌（即某些码向量在忽略码间关系和良好码本先验的情况下最终优化失败）的关键原因。受预训练语言模型的启发，我们发现这些语言模型实际上通过大量文本语料库预训练了一个优越的码本，但此类信息在VQ中很少被利用。为此，我们提出了一种基于视觉-语言翻译的码本迁移框架VQCT-VLT，旨在将预训练语言模型中训练良好的码本迁移至VQ，以实现鲁棒的码本学习。具体而言，我们首先引入语言模型中的预训练码本和词性知识作为先验，然后利用这些先验构建视觉相关码本以实现码本迁移，最后设计一种新型码本迁移网络，利用预训练码本中丰富的码间语义关系进行鲁棒码本学习。尽管上述方法可实现优异的图像合成性能，但发现所学习码本难以对齐文本语义。为此，我们引入图像标题作为辅助监督信息，并设计视觉-语言翻译模块，以进一步实现视觉-语言对齐的码本学习。实验结果表明，我们的VQCT-VLT方法在各项任务中均优于现有VQ方法的最佳水平。

Keyword:

Vector quantization

image synthesis

Codebook Transfer With Vision-to-Language Translation for Vector Quantization

摘要

期刊

机构

引用论文