.png){kind=icon}
返回
Customizable Length Constrained Image-Text Summarization via Knapsack Optimization
.png){kind=icon}
OA
AI
DOI：10.3390/sym17101629.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着多媒体数据的激增，可控摘要生成已成为人工智能内容生成领域的核心关注点。然而，许多传统方法在输出长度控制上缺乏精确性，往往导致生成的摘要要么过于冗长，要么过于简略，从而无法满足用户的多样化需求。本文提出了一种适用于多模态图像-文本摘要的长度可定制方法。该方法将组合优化与深度学习相结合，以解决长度控制难题。具体而言，我们将摘要任务表述为一个背包优化问题，并通过贪心算法增强，以严格遵循用户定义的长度约束。此外，我们引入了一种多模态注意力机制，以确保文本和视觉信息的平衡与连贯整合。为进一步提升语义对齐效果，我们采用了一种基于预训练视觉-语言模型进行图像选择跨模态匹配策略。在MSMO数据集上的实验评估以及对LEAD-3、Seq2Seq、Attention和Transformer等基线的验证表明，我们的方法实现了ROUGE-1得分为40.52、ROUGE-2为16.07、ROUGE-L为35.15，超越了现有的长度可控基线。此外，我们的方法达到了最低长度方差，证实其能精确遵循目标摘要长度。这些结果验证了该方法在生成高质量、长度受限的多模态摘要方面的有效性。
Keyword:
multimodal models
summarization
length control
generative AI
algorithm optimization strategy
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
S
IF:
2.2
论文数:
1.4K
被引数:
0
机构
暂无机构信息
引用论文
Topic-aware video summarization using multimodal transformer基于多模态变换器的主题感知视频摘要.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation使用RNN编码器-解码器学习统计机器翻译的短语表示
OAAI
OAAI分享收藏Multidocument Aspect Classification for Aspect-Based Abstractive Summarization面向基于方面抽取式摘要的多文档方面分类
PREAI
分享收藏Multimodal Saliency and Fusion for Movie Summarization Based on Aural, Visual, and Textual AttentionOAAI
OAAI分享收藏Customized long short-term memory architecture for multi-document summarization with improved text feature set针对多文档摘要的定制化长短期记忆网络架构与改进文本特征集
PREAI
分享收藏A global and local information extraction model incorporating selection mechanism for abstractive text summarization结合抽象文本摘要选择机制的全局和局部信息提取模型
PREAI
分享收藏
查看更多内容