Diverse Dance Synthesis via Keyframes with Transformer Controllers

doi:10.1111/cgf.14402

Diverse Dance Synthesis via Keyframes with Transformer Controllers

2021-11-27

0

OA

AI

DOI：10.1111/cgf.14402

原文链接

原文求助

摘要

En 中文

摘要现有的基于关键帧的运动合成主要关注周期性动作或短期运动的生成，例如行走、跑步以及相近姿态之间的转换。然而，这些方法在处理复杂和即兴动作时（例如舞蹈表演和武术），会显著降低合成运动的自然度和多样性。此外，当前研究缺乏对生成运动的精细控制，而这对于智能人机交互和动画创作至关重要。在本文中，我们提出了一种基于多重约束的全新关键帧运动生成网络，能够通过学习到的知识实现多样化的舞蹈合成。具体而言，该算法主要基于循环神经网络（RNN）和Transformer架构进行构建。我们网络的主干是一个由两个长短期记忆（LSTM）单元组成的层次化RNN模块，其中第一个LSTM用于将历史帧的姿态信息嵌入到潜在空间中，第二个LSTM则用于预测下一帧的人体姿态。此外，我们的框架包含两个基于Transformer的控制器，分别用于建模根轨迹和速度因子的约束，以便更好地利用帧的时间上下文并实现精细化的运动控制。我们在包含广泛现代舞动作的舞蹈数据集上验证了所提出的方法。三项定量分析的结果验证了我们算法的优越性。视频和定性实验结果表明，我们算法生成的复杂运动序列能够在关键帧之间实现多样且平滑的运动过渡，即使对于长期合成也是如此。

Diverse Dance Synthesis via Keyframes with Transformer Controllers

摘要

期刊

机构

引用论文