.png){kind=icon}
返回
Diverse Code Query Learning for Speech-Driven Facial Animation
.png){kind=icon}
OA
AI
DOI：10.1109/TVCG.2025.3577807.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
语音驱动面部动画旨在根据给定的语音信号合成唇部同步的3D说话人脸。该任务的前期方法主要侧重于通过确定性系统追求真实感，但表征面部运动的潜在随机性质至今研究甚少。虽然生成建模方法可以通过反复采样轻松处理一对多映射，但在小规模数据集上确保合理面部运动的多样模式覆盖仍然具有挑战性且研究较少。在本文中，我们提出在相同音频信号条件下预测多个样本，并通过显式鼓励样本多样性来解决多样化面部动画合成问题。我们的核心思路是引导模型借助多样性促进损失探索富有表现力的面部潜在空间，从而理想地识别用于多样化的潜在编码。为此，基于通过向量量化变分自编码机制学习的丰富面部先验，我们的模型在时间维度上查询多个随机编码，这些编码可灵活解码为多样化且合理的、忠实于语音的面部运动集合。为进一步允许在生成过程中对不同面部部位进行控制，所提出的模型被设计为以顺序方式预测不同的面部感兴趣区域，并将它们组合起来最终形成完整面部运动。我们的范式在统一框架下实现了多样且可控的面部动画合成。我们通过实验证明，我们的方法在定量和定性方面均取得了最先进性能，特别是在样本多样性方面。
Keyword:
Diverse facial animation synthesis
audio-visual learning
facial part control
期刊
IF:
6.5
论文数:
357
被引数:
2.2W
机构
引用论文
.png){kind=icon}
Personalized Audio-Driven 3D Facial Animation via Style-Content Disentanglement个性化音频驱动的3D面部动画：基于风格-内容解耦
PREAI
分享收藏
查看更多内容