Capturing Cross-Modal Semantics by Generating Comments for Image-Text Contents

Qian, Shun

doi:10.1007/978-981-95-5679-3_10

2026-01-01

PRE

DOI：10.1007/978-981-95-5679-3_10

原文链接

原文求助

摘要

En 中文

近期关于多模态学习的研究在很大程度上受益于视觉-语言预训练（VLP）方法的发展，这些方法被认为能够弥合视觉和语言模态之间的语义差距。尽管取得了显著成功，但当前的VLP方法主要关注视觉和文本输入的语义重叠，因此实际的跨模态信息互补性往往被忽略。因此，本文定义了一个新的VLP任务，即从给定的图像-文本内容中生成自然语言评论，命名为基于跨模态信息互补性的评论生成（CroMIC-CMT），旨在引导模型捕捉跨模态语义。同时，本文提出了一种通用架构，包含用于双向多模态编码和自回归文本生成的形式化组件。此外，为了验证CroMIC-CMT作为预训练方法的有效性，本文对其在下游任务中的表现进行了评估和比较。实验结果表明，所提出的VLP任务为多模态语义学习带来了新的视角，并可作为解决下游问题的潜在预训练范式1该工作的源代码已上传（此处）。

Keyword:

Vision-Language Pre-training

Comment Generation

Information Complementarity

期刊

PATTERN RECOGNITION AND COMPUTER VISION, PRCV 2025, PT VI

IF:

论文数:

被引数:

机构

Tencent

学者数:

1.1K

论文数: 898

被引数: 5

Harbin Institute of Technology

学者数:

1.6W

论文数: 5.0K

被引数: 8.5W

引用论文

BLEU 布卢

Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02

IF0

2001-01-01

OAAI

Kishore Papineni; Salim Roukos; Todd Ward; Wei-Jing Zhu

Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics

Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics - ACL '04

IF0

2004-01-01

OAAI

Chin-Yew Lin; Franz Josef Och

Fluency-Guided Cross-Lingual Image Captioning

Proceedings of the 25th ACM international conference on Multimedia

IF0

2017-10-23

OAAI

Weiyu Lan; Xirong Li; Jianfeng Dong

Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations 视觉基因组: 使用众包密集图像注释连接语言和视觉

INTERNATIONAL JOURNAL OF COMPUTER VISION

IF9.3

2017-02-06

3.1K

OAAI

Krishna, Ranjay; Zhu, Yuke; Groth, Oliver; Johnson, Justin; Hata, Kenji; Kravitz, Joshua; Chen, Stephanie; Kalantidis, Yannis; Li, Li-Jia; Shamma, David A.; Bernstein, Michael S.; Li Fei-Fei

UNITER: UNiversal Image-TExt Representation Learning UNITER: 通用的图像文本表示学习

Lecture Notes in Computer Science

IF0

2020-09-24

PREAI

Yen-Chun Chen; Linjie Li; Licheng Yu; Ahmed El Kholy; Faisal Ahmed; Zhe Gan; Yu Cheng; Jingjing Liu

Large-Scale Datasets for Going Deeper in Image Understanding

2019 IEEE International Conference on Multimedia and Expo (ICME)

IF0

2019-07-01

OAAI

Jiahong Wu; He Zheng; Bo Zhao; Yixin Li; Baoming Yan; Rui Liang; Wenjia Wang; Shipei Zhou; Guosen Lin; Yanwei Fu; Yizhou Wang; Yonggang Wang