.png){kind=icon}
返回
Semantic Frame Interpolation
.png){kind=icon}
PRE
AI
DOI：10.1109/tip.2026.3700881.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于给定首尾帧及文本提示信息生成不同长度的中间视频内容，具有显著的研究与应用潜力。然而，传统帧插值任务主要关注帧数较少、无文本控制及首尾帧差异较小的场景。近期社区开发者利用以Wan为代表的大型视频模型赋予帧间生成能力。但这些模型只能生成固定数量的帧，且在特定帧长下常无法产出满意结果，同时该设置缺乏明确的官方定义和成熟的基准。本文首先从学术定义角度提出一项新的实用语义帧插值（SFI）任务，涵盖上述两种设置并支持多帧率推理。为此，我们基于Wan2.1提出了一种新型SemFi模型，通过引入Mixture-of-LoRA模块确保在不同帧长限制下生成与控制条件一致的高一致性内容。此外，我们提出了SFI-300K，这是首个专为SFI设计的通用数据集和基准。为此，我们从SFI视角收集并处理数据，精心设计评估指标与方法，从图像、视频等多维度及一致性、多样性等多方面评估模型性能。通过在SFI-300K上的大量实验，我们证明所提方法特别适用于满足SFI任务需求。
Keyword:
Semantic frame interpolation
video generation
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
AdapterFusion: Non-Destructive Task Composition for Transfer LearningAdapterFusion: 用于迁移学习的非破坏性任务组合
OAAI
.png){kind=icon}
OAAI分享收藏
查看更多内容