返回
Benchmarking and Analyzing Generative Data for Visual Recognition
DOI:10.1109/TPAMI.2025.3572476.png)
摘要
En 中文
大型预训练生成模型的发展拓展了其在视觉识别中作为有效数据生成器的潜力。本研究深入探讨了生成图像的影响,主要比较了利用外部数据的范式(即生成与检索与原始数据的对比)。我们的主要贡献包括:1) GenBench构建:我们设计了GenBench,一个包含22个数据集和2548个类别的广泛基准,用于评估各种视觉识别任务中的生成数据。2) CLER分数:为解决现有指标(如FID、CLIP分数)与下游识别性能相关性不足的问题,我们提出了CLER,一种无需训练的指标,用于在训练前指示生成数据对识别任务的效率。3) 新基准:将生成数据与来自同一外部池的检索数据进行比较,有助于阐明生成数据的独特特性。4) 外部知识注入:通过文本反转(Textual Inversion)对每个类别的特殊词元嵌入进行微调,在17个数据集上的性能得到提升,但在处理低分辨率参考图像时除外。我们的全面基准和分析突显了生成数据在视觉识别中的潜力,同时指出了未来研究的关键挑战。
Keyword:
Visual recognition
generative models
data-centric AI
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
Learning Generative Visual Models from Few Training Examples: An Incremental Bayesian Approach Tested on 101 Object Categories从少数训练示例中学习生成的视觉模型: 在101对象类别上测试的增量贝叶斯方法
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and TextMuRAG: 多模式检索-增强生成器,用于对图像和文本进行开放式问题回答
EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover ClassificationEuroSAT: 用于土地利用和土地覆盖分类的新型数据集和深度学习基准

