Flexible Motion Stylization via Multi-Modality Latent Diffusion Model

Wenfeng Song

doi:10.1109/tpami.2026.3722736

Flexible Motion Stylization via Multi-Modality Latent Diffusion Model

2026-08-20

0

PRE

AI

DOI：10.1109/tpami.2026.3722736

原文链接

原文求助

摘要

En 中文

多模态运动风格化提出了解决基于多模态风格输入生成灵活、风格化运动的挑战的方案。历史上，运动风格化一直难以平衡内容和风格，往往以牺牲一方为代价优先考虑另一方。本文解决了多模态内容-风格二元的复杂挑战，通过精细的风格修改实现了对核心叙事的保留和增强的复杂集成。我们提出了一种多模态潜在扩散模型（MM-LDM），这是一种新颖的框架，利用多模态条件下的扩散模型，包括运动风格（基于文本或基于运动）、运动内容和运动轨迹组件。我们方法的核心创新是引入了一种多条件去噪器，该去噪器仔细平衡了对主要内容的保留与作为次要条件的风格和轨迹的动态集成。这种多模态引导机制在去噪过程中实现，确保新风格与原始内容无缝集成。它产生了更真实且连贯的运动风格化结果，在计算机动画领域建立了新的基准。为进一步细化对基于文本的运动风格的控制，我们引入了一种LLM解析器，将广泛的运动描述转换为详细的、特定于部件的表示。通过将人体分解为与运动相关的部件，我们的方法显著提高了基于文本的运动风格化的精度和有效性，实现了对单个身体部件的细粒度控制。通过大量实验，包括基于文本的运动风格化和使用视频源生成风格化运动，验证了我们模型的有效性和泛化能力，所有这些都证明了我们的MM-LDM在推进运动风格化领域最先进水平方面的潜力。

Keyword:

Motion stylization

latent diffusion model

Flexible Motion Stylization via Multi-Modality Latent Diffusion Model

摘要

期刊

机构

引用论文