.png){kind=icon}
返回
ObjCtrl-2.5D: Training-free Object Control with Camera Poses
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-026-02810-6.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本研究旨在实现图像到视频（I2V）生成中更精确和通用的对象控制。当前方法通常使用2D轨迹表示目标对象的运动，这往往无法捕捉用户意图，并频繁产生不自然的结果。为增强控制，我们提出ObjCtrl-2.5D，一种无需训练的对象控制方法，该方法使用扩展了深度信息的3D轨迹作为控制信号。通过将对象运动建模为相机运动，ObjCtrl-2.5D将3D轨迹表示为相机姿态序列，从而无需训练即可利用现有的相机运动控制I2V生成模型（CMC-I2V）实现对象运动控制。为使原本设计用于全局运动控制的CMC-I2V模型能够处理局部对象运动，我们引入一个模块以将目标对象与背景分离，实现独立的局部控制。此外，我们设计了一种有效方法，通过跨帧共享对象区域内的低频扭曲潜在特征，实现更精确的对象控制。大量实验表明，ObjCtrl-2.5D相比无需训练的方法显著提高了对象控制精度，且相比基于2D轨迹的基于训练的方法提供了更多样化的控制能力，能够实现如对象旋转等复杂效果。项目页面。
Keyword:
Object motion control
Image-to-video generation
Diffusion model
Training-free
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
引用论文
GenWarp: Single Image to Novel Views with Semantic-Preserving Generative WarpingGenWarp：从单幅图像到语义保持的生成式变形新视点
.png){kind=icon}
PREAI
分享收藏
MotionDirector: Motion Customization of Text-to-Video Diffusion ModelsMotionDirector：文本到视频扩散模型的运动定制
PREAI
分享收藏DragAnything: Motion Control for Anything Using Entity RepresentationDragAnything：基于实体表示的任意物体运动控制
PREAI
分享收藏
查看更多内容